哥伦比亚大学EMO机器人自学对口型面部系统

科技媒体1月17日报道，哥伦比亚大学创意机器实验室研发机器人面部系统EMO，瞄准仿人机器人“恐怖谷”中的唇形与语音同步难题。EMO采用柔软硅胶皮肤与26个微型致动器，通过“视觉-动作”语言模型先在镜前随机训练建立电机指令与表情因果，再学习数小时人类说话/唱歌视频实现实时对口型，甚至可提前几毫秒预判口型。团队称闭唇音仍有瑕疵，后续拟扩充数据并与ChatGPT或Gemini整合。