人工智能信息网

首页 > 资讯 >

让Human Data再次进化:简智机器人DAS 2.0将于11月9日在CoRL亮相

2026年11月7日,简智机器人宣布,DAS 2.0系列将于11月9日在美国奥斯汀举行的CoRL会议现场正式亮相。该系列包括新一代灵巧手数据采集手套DAS Dex 2.0与第一视角头戴式多模态数据采集设备DAS Ego 2.0,通过头手协同,同步记录视觉、手部运动与触觉信息,为真实场景中的规模化人类操作数据采集和机器人技能学习提供支持。

具身智能正在积累更多人类操作视频,但采集规模与训练价值之间,仍有几处关键断点:遮挡可能导致动作标签失真,相似轨迹可能产生不同接触结果,佩戴干扰、信号干扰与测量漂移可能影响标签一致性,局部抓取片段也难以呈现走近目标、调整站位和搬运转移的完整过程。即使人类完成了任务,机器人也未必能沿用同一套动作。

DAS 2.0产品系列围绕这些问题,将场景覆盖、动作细节、原生测量与全身运动连接起来,兼顾数据规模、监督可靠性与任务完整性。

三种数据配置,首次兼顾规模、细节与原生监督

DAS 2.0提供“Ego第一视角”、“Ego第一视角+Wrist Camera腕部相机”与“Ego第一视角+Dex数据手套”三种配置,适配不同任务的不同数据需求。

Ego 2.0:扩大真实场景覆盖

轻量化配置便于进入更多自然环境,记录不同操作者、对象、空间布局及操作习惯,覆盖异常工况、失败与修复过程。第一视角影像与头手轨迹保留任务背景,帮助模型学习跨场景规律,减少对固定工位和标准流程的依赖。

Ego+Wrist Camera:补充精细动作

腕部连续画面记录接近方向、手指调整、手—物相对运动及局部形变,结合标定与轨迹重建,细化动作片段并对齐不同视角。该配置保留视觉采集的轻量化优势,但效果仍受工作距离、运动模糊、遮挡及时空对齐影响,部分关节与接触状态存在不确定性。

Ego+Dex:提供原生关节与触觉监督

关节传感直接记录手部构型,触觉记录真实接触,并与第一视角和头手轨迹对齐,为视觉推断提供独立测量依据,区分外观相近、物理结果不同的示范。

混合训练时,广覆盖数据扩展任务分布,腕部视角细化动作过程,原生测量约束关键状态与标签。不同配置可共享对齐后的任务、轨迹和交互表征,并使用各自具备的监督信息;双视角触觉学习则需进一步采集Ego+Wrist Camera+Dex同步配对数据。

Whole-body数据将环境观察、手部交互与身体运动纳入同一时间轴和空间参考,补齐靠近目标、侧身下蹲及操作后转移等任务环节。

DAS Ego 2.0:提升图像细节与动作记录连续性

DAS Ego 2.0搭载2颗500万像素主相机与4颗200万像素辅相机,核心相机模组由单颗200万像素升级至500万像素,整机水平视野从270°扩展至340°,分别提升局部细节采样与周身环境覆盖。

在相同宽高比、单相机视场和距离下,2MP升级至5MP意味着宽、高方向的线性采样各增加约58%,单像素对应的物体表面投影边长减少约36.8%。实际重建精度仍取决于镜头、曝光、标定、遮挡与算法。DAS Ego 2.0指尖追踪标称精度可达4 mm,完整任务中的动作质量还需头部定位与跨相机标定共同保持稳定。

像素升级的训练价值主要体现在两方面:一是改善离线关键点定位、多视角匹配与轨迹重建,减少动作标签偏差;二是通过局部裁剪、多尺度输入等方式保留接触区域细节,使新增图像信息进入模型。若所有画面都缩至相同尺寸,部分细节增益可能在预处理中损失。

DAS Dex 2.0:以材料与结构创新保障原生监督

触觉数据的核心价值首先建立在可靠性之上。Dex 2.0 基于自研半柔性压阻式电子皮肤与侧置仿生外骨骼,从操作无干扰、信号抗干扰、持续采集质量三个维度保障数据质量。

结构上,主要外骨骼移至手指侧面,使机械关节贴近人手运动轴,为指背、指腹与掌面留出空间,减少贴面拾取、掌内调整及狭窄空间操作中的干扰。材料与传感结构设计则着力区分真实接触与手指屈伸、材料形变、佩戴预紧及通道串扰,降低设备自身变化对标签的影响。

在已完成的一个月采集测试中,同等条件下重复相同动作,触觉测量响应保持一致,为跨时段数据比较提供基础,减少设备状态变化带来的批次差异。

Dex 2.0结合微型磁编码器与运动学标定,形成21 DoF手部运动表示;单手配备16块触觉传感器、980个感知单元,最小检测力为0.1 N。原生关节测量可在视觉遮挡时补充手部构型,触觉则将接触位置、强弱变化与释放时序同动作对齐,为动作学习、状态估计和失败恢复提供监督。

用真实触觉,支持更可扩展的双视角方案

同步采集的Ego+Wrist Camera+Dex数据,可为视觉触觉学习提供配对训练样本:画面作为输入,关节与触觉测量提供物理监督。腕部视角补充局部形变、边缘位移及物体随手运动等线索,Ego提供任务背景,真实触觉帮助模型建立视觉变化与接触状态的对应关系。

通过配对监督与知识蒸馏,后续Ego+Wrist Camera方案有望估计接触是否发生、接触区域及强弱变化趋势,并给出置信度,将精细采集获得的物理信息用于更广泛的数据。

Dex配对采集可重点覆盖新材料、困难样本及失败后的调整过程。模型估计可作为后训练的辅助目标或动作选择的条件信息,但须与实测标签明确区分,保留置信度,避免预测误差在训练中被放大。

当前接触估计与未来接触预测,需要不同的训练目标:前者依据当前及历史观察判断接触状态,后者还需结合拟执行动作,比较夹紧、抬升或松手等动作可能产生的结果。

视觉无法消除所有不确定性,例如外观相同的物体可能重量不同,隐藏接触也未必可见。因此,绝对力值估计仍需校准,关键控制仍需机器人自身反馈;对新场景中的不确定样本,可通过补充实测逐步扩大可靠判断范围。

Whole-body:连接策略、全身协调与执行

Whole-body数据保留局部技能成立的身体条件及前后衔接,支持更完整的任务学习。

在策略层,连续示范记录站位、移动和观察位置调整与任务结果的关系,为减少无效停位和反复调整提供依据。

在协调层,记录不同高度、距离和障碍下,身体整体移动、躯干调整与手臂伸展如何共同完成末端目标,为身体约束下的运动生成提供参考。

在执行层,全身轨迹连接拿起物体后的起身、转向与搬运。稳定跟踪、抗扰和负载适应,仍需结合机器人自身状态、接触反馈与控制系统完成。

硬件协同与持续采集,让多模态数据形成合力

多路传感器只有对应到同一次交互,才能共同形成监督。DAS Ego 2.0与Dex 2.0通过统一时钟、硬件触发及曝光控制,实现1 ms级头手时间对齐。以手速0.5 m/s估算,1 ms错位对应约0.5 mm运动距离,10 ms则约为5 mm。这仅代表时间错位带来的几何偏差,也说明同步精度对动作与接触标签对应质量的影响。

Ego 2.0支持不关机更换磁吸电池包,单包续航约2.5至3小时,配合采集状态检查与批量后处理,减少记录中断和无效数据,支持高质量数据持续生产。

DAS 2.0系列以Ego扩展场景分布,以腕部视角丰富动作细节,以Dex提供原生监督,以Whole-body连接身体运动与操作过程,再由机器人数据完成执行适配,帮助模型从学习单次交互走向学习连续任务。

未来,简智机器人将持续迭代数据产品与配套工具链,降低高质量交互数据的获取门槛,携手科研与产业伙伴,推动具身智能数据规模化与模型创新。

 

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。