|
英伟达近日宣布，正在利用苹果Vision Pro头显来收集更真实的机器人训练数据，以缩小人形机器人的"仿真差距"。
作为其Project Gr00t人形机器人AI平台的一部分，英伟达正探索结合人工生成和合成数据的方法。英伟达embodied AI部门高级研究经理Jim Fan在LinkedIn上解释，他们使用Vision Pro记录人类的示范动作。佩戴者可以从第一人称视角控制机器人，完成诸如制作吐司或从橱柜取杯子等日常任务。
Fan表示："Vision Pro实时解析人手姿势并将动作重定向到机器人手上。从人的角度看，他们仿佛置身于另一具身体中，如同《阿凡达》中的场景。"
为了扩充数据集，英伟达利用RoboCasa仿真框架将原始数据增加1000倍以上。其MimicGen系统进一步生成新动作，并过滤掉失败尝试。Fan强调，这种方法打破了传统远程操作每天24小时的限制，可以在数字世界中大规模生成训练数据。
英伟达CEO黄仁勋在今年的Siggraph大会上阐述了机器人开发中的"三计算机问题"：分别需要不同的计算机来创建AI、进行仿真和在实际机器人中运行。这种多阶段方法确保AI模型在实际部署前得到充分设计、测试和优化。
通过结合真实世界数据和合成数据，英伟达旨在缩小仿真与现实之间的差距，为更先进可靠的机器人应用铺平道路。公司已开源RoboCasa平台，MimicGen的人形机器人版本也在开发中。
这一创新方法展示了虚拟现实技术在AI和机器人领域的潜力，有望加速人形机器人的发展进程。
| 
