|
4 月 25 日消息，阿里云今日宣布，通义实验室研发的 AI 模型 ——EMO 正式上线通义 App，并开放给所有用户免费使用。
借助这一功能，用户可以在歌曲、热梗、表情包中任选一款模板，然后通过上传一张肖像照片就能让 EMO 合成演戏唱歌视频。
EMO（Emote Portrait Alive）是一个由阿里巴巴集团智能计算研究院开发的框架，一个音频驱动的 AI 肖像视频生成系统，能够通过输入单一的参考图像和语音音频，生成具有表现力的面部表情和各种头部姿势的视频。
该模型目前已学习并实现了编码人类表达情绪的能力，能将音频内容和人物的表情、嘴型匹配，还能把音频的语气特征和情绪色彩反映到人物微表情上。
如今，打开通义APP，进入全民舞台频道，就可来到EMO产品页面全民唱演。在歌曲、热梗、表情包中任选一款模板，上传肖像照片，EMO随即就能合成视频。
通义APP首批上线了80多个EMO模板，包括热门歌曲《上春山》《野狼disco》等，网络热梗“钵钵鸡”“回手掏”等。目前通义APP暂不开放用户自定义音频，用户只能选择APP预置的音频来生成视频。
EMO是通义实验室研发的AI模型，其背后的肖像说话（Talking Head）技术是当前大热的AIGC领域。EMO之前的Talking Head技术都需针对人脸、人头或者身体部分做3D建模，通义实验室在业界率先提出了弱控制设计，无需建模就可驱动肖像开口说话，不仅降低视频生成成本，还大幅提升了视频生成质量。EMO学习并编码了人类表达情绪的能力，能将音频内容和人物的表情、嘴型匹配，还能把音频的语气特征和情绪色彩反映到人物微表情上。
小编已去体验，目前发现的最大问题是：上传完照片需要等待15分钟才能生成最终视频。算力堪忧 ！！！
| 
