Компанія Google представила свою модель створення відео на основі штучного інтелекту під назвою Lumiere. Це мультимодальний інструмент для створення відео, який генерує п’ятисекундні ролики на основі текстових або графічних підказок. Наразі існує дуже мало моделей, які можуть створювати відео на основі заданого опису, включаючи Runway Gen-2. Хоча платформа не є загальнодоступною, ось все, що ми знаємо про неї.
Lumiere використовує архітектуру STUNet для створення відео
У дослідницькій роботі згадується, що Lumiere використовує архітектуру STUNet для створення відео як єдиного цілого, замість того, щоб генерувати кілька кадрів і комбінувати їх. Завдяки новій технології, як об’єкти на відео, так і рух виглядають природно. Незважаючи на це, Lumiere генерує 80 кадрів на секунду замість 25 кадрів за допомогою Stable Diffusion.
Як згадувалося раніше, не можна спробувати Люм’єр і створювати відео з його допомогою. Однак на цільовій сторінці можна побачити кілька відео, створених за допомогою цього інструменту. Веб-сайт містить кілька відео, зроблених на основі оригінального відео, але в іншому стилі. Крім того, інструмент може анімувати певну частину відео на основі підказки.
І останнє, але не менш важливе: інструмент також може генерувати і заповнювати області відео, яких немає у вихідному файлі, що виглядає вражаюче і водночас дещо тривожно. Більше того, інструмент виглядає вражаюче. Однак поки що не повідомляється, коли він стане загальнодоступним.