耶鲁大学公布第一个仿生手抓取视频数据集，超60个小时22种分析法27000个抓取实例

本文来自微信公众号“机器人大讲堂”（ID:RoboSpeak），作者：Robospeak，36氪经授权发布。

科幻电影中，动作自如的仿生假肢使身体残缺的人行动与常人无异，人类可以利用肌电信号，控制身外之物。

这一切都从内到外渗透着天马行空的想象力，各种未来科技世界的场景不禁让人心存涟漪——一位失去手臂的残疾人，可以操纵智能仿生手拿取物品吗？

答案是肯定的。

到目前为止，已经诞生了不少仿生肢体，旨在帮助残障人士恢复正常生活，甚至可以增强人体功能，成为“超能力者”。这些仿生手柔软、外形充满科技感，有些还与脑机接口技术结合，声称能够通过“意念”控制。

仿生肢体的强大功能不可否认，但目前它们仍处于实验室研究阶段，预抓取的结果并不一定能给出日常活动的准确表现。

“当仿生肢体从“科技幻想”投影到现实，其在日常生活中长期使用的感受到底是什么样的？”

“意念控制等强大功能，用户是否在日常中真的需要？”

这些问题都是需要仔细思量的。

耶鲁大学Grab实验室主要进行各种灵活机械手的设计、仿生手、辅助与康复设备等方面的研究。最近，他们公布了超过60个小时的视频数据集，首次研究了人们在日常生活中使用仿生肢体的情况。

数据集获取不易，22种分析法，产生27000个抓取实例

“分析仿生肢体使用者在日常生活中如何使用这些设备，可以为现有技术或治疗干预措施的缺陷提供有价值的见解。” 耶鲁大学Grab实验室的研究人员表示。

这份数据集收集的可以说是相当不容易，研究人员让8名手部残缺人士使用头戴摄像机记录自己每天如何使用仿生肢体，例如做饭、煮咖啡、打扫卫生或洗衣服，共持续6个月。

（受试者均为只有单手残缺的患者，这样他们另一只完好的手可以起到空白组对照实验的效果。）

直接获取的视频是不可用的，对视频的后续处理要更加细致，才能获得可用的数据集。对于视频中的每个抓取实例（仅限右手），都要对抓取类型、对象属性，包括大小、形状、刚度和质量参数，以及任务属性，包括力、运动约束和一般类参数进行标记。

研究人员使用22类定制的操作分类法分析视频数据，产生了超过27,000个仿生上肢操作标记类型。

▍数据集标签频率可看出受试者偏好，仿生肢体仍需进步

通过分析数据集中单个标签的时长和频率，可以看出受试者在日常中使用仿生肢体的偏好，也能暴露出目前仿生肢体的不足之处。

受试者使用的仿生手设备如下，基本都是大名鼎鼎的业内翘楚，包括能够使用肌电信号控制的奥托博克机械手，以及被称为“终结者之手”的i-limb ultra等。

其中，经桡动脉和身体动力装置 (TR-BP) 的受试者使用假肢最多（28%），近端肘部 (PE) 截肢者（都有肌电装置）使用假肢的次数要少得多，仅占所有操作动作的 8%。这表明仿生肢体的抓握功能与完整手的抓握功能的利用方式不同。

TR-BP 组最常见的非抓握操作是稳定物体和将物体夹紧在表面上。这与 PE 组相同，但数量较少，对于 TR-Myo 来说，支撑体重是最常见的动作。

尽管不同的仿生肢体之间用户的偏好均不同，但整体而言，由于所有受试者都拥有一只完好的手，相比之下，受试者更愿意使用完好地手进行抓握任务，仿生手更多的被用来辅助，其进行抓握的使用频率平均仅为完整肢体的24%。

这些肢体使用差异可归因于多种因素，包括但不限于仿生肢体的重量、强度、速度、控制复杂性以及缺乏触觉反馈和本体感觉等。同时，所有仿生肢体进行的抓握操作比使用完整手完成的时间要长得多，例如，在肌电控制的设备中，用户必须提供控制信号来打开或关闭设备，而受试者普遍抱怨设备闭合速度慢，与完整手相比，仿生肢体需要额外的努力和时间来定位手臂，因此参与者使用假肢进行比完整手更少、更长时间的抓握也就不足为奇了。

与健康手相比，仿生手的使用频率小，是由于普遍缺乏灵活性和触觉反馈、抓握孔径小和抓握速度慢等原因，使用起来具有更多的不确定性。与几乎毫不费力地控制健康肢体相比，仿生肢体还有很长一段路要走。

【参考链接】

https://www.eng.yale.edu/grablab/humangrasping/

https://www.youtube.com/watch?v=9GekSXq2OJs