你有没有想过,如果能用一句话就创作出一段精彩的视频,那该有多好?你有没有想过,如果能用自己的想象力就生成出任何风格的动画,那该有多酷?你有没有想过,如果能用文字和图片就制作出一部自己的小电影,那该有多牛?
这些听起来像是梦想的事情,现在都可以通过一个神奇的AI工具来实现了。它就是Runway的Gen-2。
![一句话创作「小电影」,Runway Gen-2让你成为大导演](https://www.ailearnclub.com/wp-content/uploads/2023/06/20230617202606.png)
Runway是一个在线的AI视频编辑平台,它提供了30多种AI魔法工具,让你可以轻松地进行视频剪辑、背景去除、颜色调整、字幕添加等操作。而Gen-2是Runway最新推出的一款多模态AI系统,它可以用文本和图片迅速生成4秒的视频。也就是说,生成视频的方式,完全就是「无中生有」。
Gen-2的原理是基于最新的生成式对抗网络(GAN)技术,它可以从文本或图片中提取语义信息和风格特征,并将其映射到一个潜在空间中。然后,它利用一个扩散模型来从潜在空间中采样出一系列图像,并将其合成为连续的视频帧。这个过程可以实现高分辨率、高质量、高一致性和高可控性的视频生成。
下边是我用一句话生成的一个4秒视频:
Gen-2目前支持八种不同的模式,分别是:
– 文本到视频:只需输入一句话,就可以生成符合描述的视频。
– 文本+图片到视频:输入一句话和一张图片,就可以生成结合了两者内容和风格的视频。
– 图片到视频:只需输入一张图片,就可以生成多种变化的视频。
– 风格化:将任意图片或文本的风格迁移给一个视频。
– 故事板:将草图或模型转换为完全风格化和动画化的渲染。
– 遮罩:在视频中隔离主体,并用简单的文本提示修改它们。
– 渲染:将未纹理的渲染转换为逼真的输出,通过应用一个输入图片或文本。
– 定制:通过自定义模型来获得更高保真度的结果。
Gen-2不仅可以生成写实的画面,还可以生成抽象的东西,甚至还可以生成动画,并对其进行各种操作。无论你想要什么风格、什么内容、什么效果的视频,Gen-2都可以满足你。
Gen-2已经在网上引起了轰动,许多网友都纷纷试用并分享了自己生成的视频。有人用Gen-2制作了MV、短片、广告等各种类型的作品。有人用Gen-2实现了自己心中的梦幻场景、奇思妙想、甚至梦境。有人用Gen-2玩起了性别切换、变身大明星、穿越时空等各种花样。有人甚至用Gen-2做起了科普、教育、新闻等有意义的内容。
Gen-2的出现,无疑是视频创作领域的一次革命。它极大地降低了视频生成的门槛,让任何人都可以轻松地创作出自己想要的视频。它也极大地拓展了视频创作的可能性,让任何人都可以自由地发挥自己的想象力。它甚至极大地改变了视频创作的价值,让任何人都可以拥有自己的版权和收益。
Gen-2是Runway研究团队致力于构建多模态AI系统,以促进新形式的创造力的又一次重要进展。它代表了Runway在这一使命中的又一次关键步骤。如果你也想体验Gen-2的魅力,赶快去Runway的官网注册一个账号吧。只要你想象得到,它就能给你生成。