AI 日报

AI黑科技:用“文字”自动生成影片!“Gen-2”Runway AI新技术用文本或图像自动产出动画短片




从文字转图片的AI绘图,想必都已经被AI的绘图功力震撼到了吧!现在AI也可以靠文字生成影片了,你还需要剪辑影片吗?靠 AI 从无到有生一个影片给你,你只需要想好脚本,敲敲键盘,你不需要学习复杂的影像编辑软件,也不需要花费大量的时间和金钱来拍摄和剪辑。你只需要写下你想要表达的内容,然后让AI帮你把文字转换成影片。这听起来就像是电影的情节,但是现在已经成为现实了!今天就要来为你介绍“Runway Gen AI”。

660a73d7baae4c0c9a42f0ccdb8c46c9.jpeg

“Runway Gen AI”是一个基于深度学习的AI文字转影片平台,它可以让你用自然语言来描述你想要的影片场景,然后自动生成符合你描述的影片。你可以选择不同的风格、音乐、配音和字幕,来打造你专属的影片。你也可以随时预览和修改生成的影片,直到满意为止。这个平台非常适合用来制作教学、介绍、广告、故事、诗歌等各种类型的影片。

谷歌支持的AI 初创公司Runway帮助开发了 AI 图像生成器Stable Diffusion,发布了 Gen-2,这是一种根据文本提示或现有图像生成视频的模型。(Gen-2 以前只能在有限的候补名单中使用。)作为 Runway 于 2月推出的 Gen-1 模型的后续产品,Gen-2 是首批商业化的文本转视频模型之一。


Runway Gen-2,这是一种在线文本转视频工具,可根据您的提示生成 4秒的剪辑。到目前为止,这项免费服务仅在封闭测试版中提供,该测试版通过 Runway 的 Discord 服务器上的一系列私人频道运行。然而,从今天开始,Gen-2 可供所有人使用,您可以通过公司网站而不是 Discord 使用它。


要使用 Runway Gen-2,您需要在Runway 的网站上创建一个免费帐户,然后导航至app.runwayml.com/ai-tools/gen-2以获取该工具. 该公司拥有其 Gen-1 工具,可以修改现有视频以使其看起来不同(例如:将人们变成 Claymation),每个人都可以使用几个月,但 Gen-2 只接受简单的文本提示,例如“喝啤酒的机器人”并将它们变成剪辑。


Runway Gen-2 的功能有哪些?

模式1:文字转影片(Text to Video)

模式2:文字+图片转影片(Text + Image to Video)

模式 3:图像转影片(Image to Video)

模式4:风格化(Stylization):将任何图像的“风格”或文字描述的风格套用到影片上

模式5:故事分镜(storyboard):把粗糙的分镜脚本直接转成高品质影片

模式6:遮罩(mask):移除影片中的纹理或物件,用文字描述进行修改

8c7f9e3ebf9a41ffb526dab7be3e2fb7.gif

模式7:渲染(render):用文字描述将无纹理的影像变成逼真的真实影像

4b69762337ac46479d7c1afa5a95e244.png

模式8:自定义(customization):自己定义模型以获得更高品质影像的结果

官方网站/社群

  • 网站:app.runwayml.com/ai-tools/gen-2

  • Discord: https://discord.gg/fe8X47HE