撰稿 | 伊风

整个2月，Sora 这是当之无愧的 AI 两波明星，公布 AI 这段视频吸引了无数的目光。没想到二月底，还有一个视频生成了“玩家”，让我们大吃一惊！

这就是阿里新推出的视频生成框架。——EMO (Emote Portrait Alive) 。EMO 基于扩散模型，只需提供图像和音频即可生成具有表现力的肖像视频。根据发布的视频，EMO 在生成肖像的动作、口型、表情等方面都表现得很好，表现得很好。 Sora 同样丰富的“可玩性”，可以完成很多有想象力、有创意的视频。

EMO 驱动的肖像不仅可以唱歌，还可以口头对话，甚至可以为你展示一段快嘴说唱。例子视频显示 EMO 多样化的生成能力和优越的实现效果，包含了大量阿里团队的“官方整活”。

通过 EMO，你可以让蒙娜丽莎不再只是神秘的微笑，而是放纵地唱一首热曲。《flowers》；让蔡徐坤去秀一个快嘴，成为比肩姆爷的“rap god”;或让反派高启强改邪归正加入普法队伍…不得不说，每个视频都是脑洞大开的。

歌声驱动，每个人都可以成为歌星。

画面中 AI 生成的蒙娜丽莎站在她神秘而安静的群山之间，远处有无尽的绿色植物和道路。在如此美丽的风景中，蒙娜丽莎忍不住唱起了麦莉·赛勒的歌。《flowers》。歌唱到陶醉时，蒙娜丽莎不但会露出自信的微笑，而且还会闭上眼睛，完全沉醉于歌唱，给人一种非常真实的视听体验。

Sora 视频中，走在巴黎街头的皮衣女士也来体验一下。 EMO 生成效果。视频中的“Sora “女士”不但头部运动自然，发力时眉毛的运动和换气的感觉也令人惊讶。另外， EMO 对耳环的摆动，甚至墨镜中反射的倒影也进行了比较逼真的还原。

二次元到三次元，多种语言都可以唱歌。

视频中，精致的银发绿瞳女孩面朝阳光，唱着宁艺卓翻唱版。《Melody》，中英文切换自然流畅。值得注意的是，驱动这个视频的图像也是由 AI 生成，但是整体呈现的效果就像一个真正的美女主播。

照片中的“哥哥”张国荣正在唱歌 Eason 那首《无条件》。一些网民认为，这个视频暴露了EMO。 跟着粤语生成的口型是不自然的。不知道大家欣赏这个视频的时候会不会有“音画不同步”的感觉。当然，哥哥在这个视频中快乐的积极情绪断裂了无条件歌词的情感基调，这也可能是我们觉得“错在哪里”的原因之一。

3.语速像rap一样快 god，也不留破绽

录像中还没有成为中年大叔的美丽版“小李子”，正在唱阿姆的歌。《GODZILLA》。就驱动视频而言，肖像人物的表情与说唱的节奏相匹配，中间停顿时的表情也极具感染力。

下面的视频来自

往事如歌

没有什么比让坤坤唱更好的了《rap god》更加抽象的整活。不知为什么，两个说唱例子都选择了“姆爷”这首歌，这也可能是阿里队的一种炫技。

4.对白也能 hold 生活，反派普法不是梦

视频采用了《The Dark Knight》 2008 Jocker “经典台词，”Why so serious? Let's put a smile on that face ” 驱动了 2019 版 Jocker 。随着肌肉的运动，小丑脸上的油彩自然运动。

这个视频让强哥和“法外狂徒张三”联系在一起。视频中，高启强解读了“紧急避险”的概念。看来强哥不仅可以吃鱼，还可以在饿死的时候吃一些熊猫和金丝猴。

视频来源：https://humanaigc.github.io/emote-portrait-alive/