立解机械人抓取通明物体困难，地瓜机械人 & CASIA 单目新方案
IT之家 3 月 5 日新闻，寰球呆板人范畴顶会 ICRA 2025（IEEE 呆板人与主动化国际集会）日前颁布188bet官网了论文任命成果，地瓜呆板人主导研发的 DOSOD 开放词汇目的检测算法与 MODEST 单目通明物体抓取算法胜利当选。作为呆板人履行各项义务中绕不开的操纵工具，水杯、试管、窗户等通明物体在人类生涯中无处不在。但是，通明物体庞杂的折射跟反射特征给呆板人感知形成了很年夜艰苦。在年夜少数 RGB 图像中的通明物体每每缺少清楚的纹理，而轻易与配景混为一体。别的，商用深度相机也难以正确捕获这些物体的深度信息，招致深度图缺掉或噪声过多，从而限度了呆板人在多个范畴的普遍利用。为懂得决通明物体的抓取成绩，地瓜呆板人结合中科院主动化所（简称：CASIA）多模态人工智能体系天下重点试验室，推出了针对通明物体的单目深度估量跟语义宰割的多义务框架（简称：MODEST）。该框架借助翻新性的语义跟多少何融会模块，联合奇特的特点迭代更新bet9九州体育战略，晋升了深度估量跟语义宰割的后果，尤其在抓取胜利率跟体系泛化性方面获得了冲破性停顿。
MODEST 算法框架作为通用抓取模子的前置模块，即插即用，且无需依附额定传感器，仅靠单张 RGB 图像，便可实现通明物体的抓取，后果上乃至要优于别的双目跟多视图的方式，能够利用于智能工场、试验室主动化、聪明家居等场景，下降装备本钱并晋升呆板人对通明物体的操纵才能。
MODEST 重要聚焦于通明物体的深度估量，经由过程计划的语义跟多少何联合的多义务框架，获取物体正确的深度信息，之后联合基于点云的抓取收集实现通明物体的抓取。相称于在通用抓取收集后面增添一个针对通明物体的加强模块。MODEST 模子的团体架构如图所示，输入为单目 RGB 图像，输出为通明物体的宰割成果跟场景深度猜测。收集重要由编码、重组、语义多少何融会跟迭代解码四个模块构成。输入图像起首经由基于 ViT 的编码模块停止处置，随后重组为对应宰割跟深度两个分支的多标准特点。在融会模块中对两组特点停止混杂跟加强，最后经由过程屡次迭代逐渐更新特点，并取得终极猜测成果。
地瓜呆板人将算法迁徙到实在呆板人平台，发展了通明物体抓取试验。平台重要由 UR 机器臂跟深度相机形成，在借助 MODEST 方式停止通明物体准确感知的基本之上，采取 GraspNet 停止抓取位姿的天生。在多个通明物体上的试验成果标明，MODEST 方式在实在平台上存在精良的鲁棒性跟泛化性（IT之家注：鲁棒性是指体系在面临外部构造或外部情况变更时，仍能坚持其功效稳固188体育直播运转的才能）。
MODEST 算法框架作为通用抓取模子的前置模块，即插即用，且无需依附额定传感器，仅靠单张 RGB 图像，便可实现通明物体的抓取，后果上乃至要优于别的双目跟多视图的方式，能够利用于智能工场、试验室主动化、聪明家居等场景，下降装备本钱并晋升呆板人对通明物体的操纵才能。MODEST 重要聚焦于通明物体的深度估量，经由过程计划的语义跟多少何联合的多义务框架，获取物体正确的深度信息，之后联合基于点云的抓取收集实现通明物体的抓取。相称于在通用抓取收集后面增添一个针对通明物体的加强模块。MODEST 模子的团体架构如图所示，输入为单目 RGB 图像，输出为通明物体的宰割成果跟场景深度猜测。收集重要由编码、重组、语义多少何融会跟迭代解码四个模块构成。输入图像起首经由基于 ViT 的编码模块停止处置，随后重组为对应宰割跟深度两个分支的多标准特点。在融会模块中对两组特点停止混杂跟加强，最后经由过程屡次迭代逐渐更新特点，并取得终极猜测成果。地瓜呆板人将算法迁徙到实在呆板人平台，发展了通明物体抓取试验。平台重要由 UR 机器臂跟深度相机形成，在借助 MODEST 方式停止通明物体准确感知的基本之上，采取 GraspNet 停止抓取位姿的天生。在多个通明物体上的试验成果标明，MODEST 方式在实在平台上存在精良的鲁棒性跟泛化性（IT之家注：鲁棒性是指体系在面临外部构造或外部情况变更时，仍能坚持其功效稳固188体育直播运转的才能）。 