哥伦比亚大学机器人视觉学习逼真唇部动作研究

哥伦比亚大学创意机器实验室在工程实验室展示一款人形机器人通过“只看视频”学习，获得更自然的说话与唱歌唇部动作。系统先在镜前自我探索，将26个微型马达与面部形态建立对应，再用来源于YouTube的人类讲话、歌唱素材训练“视觉-动作转换模型”，把音频直接转为同步的马达控制指令。测试显示其可进行多语种对口型并演唱《Hello World》专辑曲目，但爆破辅音B与噘唇音W仍需改进。研究认为该进展有望缓解恐怖谷、提升教育医疗养老等场景的人机交流，同时也带来心理与伦理边界模糊的风险；成果发表于《科学·机器人学》。