Компания Google представила свою модель создания видео на основе искусственного интеллекта под названием Lumiere. Это мультимодальный инструмент для создания видео, который генерирует пятисекундные ролики на основе текстовых или графических подсказок. В настоящее время существует очень мало моделей, которые могут создавать видео на основе заданного описания, включая Runway Gen-2. Хотя платформа не является общедоступной, вот все, что мы знаем о ней.
Lumiere использует архитектуру STUNet для создания видео
В исследовательской работе упоминается, что Lumiere использует архитектуру STUNet для создания видео как единого целого, вместо того, чтобы генерировать несколько кадров и комбинировать их. Благодаря новой технологии, как объекты на видео, так и движение выглядят естественно. Несмотря на это, Lumiere генерирует 80 кадров в секунду вместо 25 кадров с помощью Stable Diffusion.
Как упоминалось ранее, нельзя попробовать Люмьер и создать видео с его помощью. Однако на целевой странице можно увидеть несколько видео, созданных с помощью этого инструмента. Веб-сайт содержит несколько видео, сделанных на основе оригинального видео, но в другом стиле. Кроме того, инструмент может анимировать определенную часть видео на основе подсказки.
И последнее, но не менее важное: инструмент также может генерировать и заполнять области видео, которых нет в исходном файле, что выглядит впечатляюще и в то же время несколько тревожно. Более того, инструмент выглядит впечатляюще. Однако пока не сообщается, когда он станет общедоступным.