研究人员通过展示手术视频教机器人缝合

2020-06-23
关注
摘要 由Ajay Tanwani博士领导的加州大学伯克利分校(UC Berkeley)团队开发了一种半监督的AI深度学习系统,称为Motion2Vec。该系统旨在观看由实际医生进行的公开手术视频,在缝合时分解医生的动作,然后以很高的精度进行模拟。

对医务人员来说,将手术后的病人缝合在一起是一项至关重要而又单调的任务,通常要求他们重复相同的简单动作数百遍。最近在英特尔与加州大学伯克利分校之间的共同努力下,不久之后,外科医生可以将这项繁琐的工作分担给机器人,不过只限用于实现自动缝合。

图片来源于网络

由Ajay Tanwani博士领导的加州大学伯克利分校(UC Berkeley)团队开发了一种半监督的AI深度学习系统,称为Motion2Vec。该系统旨在观看由实际医生进行的公开手术视频,在缝合时分解医生的动作(插针、拔针和移交),然后以很高的精度进行模拟。 

Tanwani告诉Engadget:“与传统界面以静态方式学习或从[模仿]轨迹学习相比,从视觉观察中学习具有很大的吸引力,因为现有视频中提供了大量信息内容,” 对于机器人教学,一张图片显然胜过千言万语。

Ken Goldberg博士是加州大学伯克利分校的实验室负责人,也是Tanwani的团队这项研究的顾问。他补充说:“ YouTube每分钟获得500个小时的新资料。这是一个令人难以置信的数据库。任何人都可以观看这些视频中的任意一个并理解它,但是机器人目前无法做到-他们只是将其视为像素流。因此,这项工作的目标是尝试弄清这些像素。那就是看视频,对其进行分析,然后能够将视频分割成有意义的序列。”

为此,该团队利用暹罗网络来训练AI。Tanwani解释说,建立暹罗网络是为了从无监督或弱监督的数据中学习距离函数。他说:“这里的想法是,您想产生大量重组视频中的数据,并将其压缩为低维流形。暹罗网络用于学习该流形内的距离函数。” 

基本上,这些网络可以对两个输入之间的相似程度进行排序,这就是为什么它们经常用于图像识别任务,例如将某人的监控镜头与驾驶执照照片匹配。但是,在这种情况下,研究小组使用网络将机械手动作的视频输入与人类医生执行相同动作的现有视频进行匹配。目的是将机器人的性能提高到接近人类的水平。 

由于该系统依赖于半监督学习结构,因此该团队仅需要JIGSAWS数据库中的78个视频即可训练其AI以85.5%的分割准确的和平均0.94厘米的目标定位精度来执行任务。

这些技术要进入实际手术室尚需时日,但Tanwani相信,一旦实现,外科手术AI将像当今的半自动汽车上驾驶员辅助系统一样发挥作用。他们不会取代人类外科医生,而是通过接管低水平,重复性的任务来提高他们的表现。Motion2Vec系统不仅用于缝合。如果有适当的训练数据,AI最终可以承担许多职责,例如清创术(从伤口中挑出死肉和碎屑),但不要指望它执行你的下一个阑尾切除术。

Goldberg说:“我们还没有做到这一步,但是我们正在朝外科医生的能力迈进,外科医生将观察系统,指出他们想要一排缝合线的位置,传达出他们想要六个手缝合线的能力。然后,机器人将基本上开始这样做,外科医生将能够稍微放松一下,以便他们可以得到更多休息时间,并能够专注于手术中更复杂或更细微的部分。” 

Tanwani补充说:“我们相信,这将有助于外科医生有效地将时间集中在执行更复杂的任务上,并使用技术来协助他们处理日常工作。”

您觉得本篇内容如何
评分

相关产品

泰科智能 机器人电机 机器人本体

机器人关节电机是专业为机器人关节设计研发生产。主要应用包括自动化生产线,机器人关节,机器人关节、医医疗仪器及设备、精密仪器和工业控制系统,以及其他许多的应用。

大寰机器人电动夹具 大寰机器人电动夹具 机器人

上海菁特智能 大寰机器人电动夹具 机器人

大立科技 轮式智能巡检机器人DL-RC63 智能巡检机器人

变电站智能巡检机器人集 非制冷焦平面探测器、无轨化激光导航定位、红外测温、智能读表、图像识别 等核心技术于一体,对输变电设备进行全天候巡检、数据采集、视频监控、温湿度测量、气压监测等,提高输变电站内设备的安全运行程度在发生异常紧急情况时,智能巡检机器人可作为移动式监控平台,代替人工及时查明设备故障,降低人员的安全风险。

优恩智能 双臂机器人 机器人

智能机器人双臂灵巧操作平台,其基本结构由两个标准工业协作机械臂、一个标准机械 臂夹爪、一个标准工业 RGB-D 相机和控制器组成。

Movel AI Seirios 机器人导航系统 AMR/AGV 机器人导航

Seirios 机器人导航系统 AMR/AGV 产品特色 机器人的存在是为了提升人类的生活品质,Movel AI通过设计出众的软体来加速机器人的部署,此软体扩展性强,操作简易,适合所有人操作使用。

DFRobot 智位机器人 FIT0005 配件

SHARP IR SENSOR MOUNTING BRACKET

杭州安布雷拉 YUZHENG-WLM33-35R0N 机器人

杭州安布雷拉 YUZHENG-WLM33-35R0N 机器人

LH-TC 领航机器人 LTC-0630F 快换盘

快换装置在强度、耐磨性、稳定安全和通用性做了一系列实验,产品的负载抗疲劳试验达到100万次,期间设置不同的安全测试,更换不同品牌的工具机器人测试通用性,总体性能卓越。

泰科伺服 机器人电机 电机马达

机器人关节电机是专业为机器人关节设计研发生产。主要应用包括自动化生产线,机器人关节,机器人关节、医医疗仪器及设备、精密仪器和工业控制系统,以及其他许多的应用。

评论

您需要登录才可以回复|注册

提交评论

广告
提取码
复制提取码
点击跳转至百度网盘