跳到正文
Back to Feed

总结

哥伦比亚大学创意机器实验室在工程实验室展示一款人形机器人通过“只看视频”学习,获得更自然的说话与唱歌唇部动作。系统先在镜前自我探索,将26个微型马达与面部形态建立对应,再用来源于YouTube的人类讲话、歌唱素材训练“视觉-动作转换模型”,把音频直接转为同步的马达控制指令。测试显示其可进行多语种对口型并演唱《Hello World》专辑曲目,但爆破辅音B与噘唇音W仍需改进。研究认为该进展有望缓解恐怖谷、提升教育医疗养老等场景的人机交流,同时也带来心理与伦理边界模糊的风险;成果发表于《科学·机器人学》。

正文

IT之家 1 月 19 日消息,在哥伦比亚大学的一间工程实验室里,一款人形机器人已能以前所未有的逼真度活动嘴唇。这项由创意机器实验室(Creative Machines Lab)主导的研究,首次实现了自主系统仅通过视觉学习,就掌握了用于说话和唱歌的自然唇部动作。 据IT之家了解,这一成果攻克了人形机器人设计领域的一大核心难题:面部动作的违和感。尽管机器人在行走、抓取和整体灵活性方面已取得重大突破,但面部表情,尤其是与语言相关的唇部动作,仍然是一个尚未攻克的领域。 即便是顶尖的人形机器人,其嘴部动作也往往显得僵硬、如同木偶一般,难以营造出栩栩如生的效果。人类对这类细微的违和感极为敏感,这种心理现象正是研究人员所说的"恐怖谷效应"的成因之一。 该研究团队采用了一种全新的学习方法,机器人没有遵循为每个元音或音素编写的固定规则,而是通过实验和模仿来学习唇部力学。其面部由覆盖在 26 个微型马达上的柔性合成皮肤构成,能够复刻出语言表达背后细微的肌肉运动变化。 研究人员首先让机器人面对镜子,使其观察自身数千种随机表情。通过这一过程,机器人掌握了马达运动与不同面部形态之间的对应关系,研究人员将这一阶段称为"自我探索期"。 在理解自身运动机制后,机器人开始学习人类的语言表达。它通过分析数小时的人类说话、唱歌视频素材(源自 YouTube),建立起唇部动作与声音之间的统计学关联。这套名为"视觉-动作转换模型"的训练流程,能让系统直接将音频转化为同步的马达控制指令,无需依赖明确的语音编程,即可实现逼真的唇部动作。 测试结果显示,这款机器人能够配合多种语言完成唇部同步运动,甚至还能演唱其人工智能原创专辑《Hello World》中的曲目。尽管目前的动作仍非尽善尽美,如"B"这类爆破辅音,以及"W"这类噘唇音的模仿,仍是待解难题,但进步效果显而易见。创意机器实验室主任、机械工程学教授霍德 · 利普森表示:"它与人类的互动越频繁,表现就会越出色。" 这项突破的意义远超娱乐层面,更关乎人机交流的深度。能够传递细腻情感的机器人面部,或将从根本上改变人机互动的方式。研究负责人胡宇航(Yuhang Hu,音译)指出,将逼真的面部动作与 ChatGPT、Gemini 等对话式人工智能相结合,可增强人机交互的情感共鸣,让"彼此理解"的错觉更加真切。假以时日,随着模型学习到更丰富、更长的对话语境,这些微表情动作也将具备更强的情境感知能力。 利普森认为,这类研究填补了机器人技术中一个长期被忽视的维度。他解释道,大多数人形机器人研究都侧重于肢体机械性能,如腿部、手部动作与移动能力,却忽略了面部情感表达。然而,对于应用于教育、医疗和养老领域的机器人而言,逼真的面部表情与实用的肢体灵活性同等重要。随着全球人形机器人量产进程加快(部分经济学家预测,十年内产量将达数十亿台),面部动作的逼真度或将成为决定公众接受度的关键因素。 胡宇航表示:"我们正濒临跨越恐怖谷的临界点。未来的人形机器人,必然会拥有灵动自然的面部表情。" 不过,胡宇航与利普森均承认,这项技术背后潜藏着复杂的心理学与伦理学挑战。随着机器人变得越来越通人性,人机之间的情感边界可能会逐渐模糊。长期致力于机器人共情能力研究的利普森呼吁保持审慎:"我们必须循序渐进、谨慎探索,才能在收获技术红利的同时,将潜在风险降至最低。" 该研究成果已发表于《 科学 · 机器人学 》期刊。
发布时间: