Эксперты из Google Research и делльЕврейский университет Иерусалима они разработали Дримикс, программное обеспечение, которое может использовать любой материал для создания видео, соответствующих текстовым инструкциям. Еще один шаг вперед генеративного искусственного интеллекта в защите всех форм самовыражения (после Тести, изображения e аудио). Что особенного в Dreamix, так это то, что он не ограничивается текстовыми инструкциями, но также принимает референсные фото или видео для лучшей адаптации к идеям пользователей.
Три режима работы, начиная с текстовых инструкций, изображений, роликов
Начиная с изображений, клипов или текстовых инструкций, Dreamix предоставляет три основные функции: редактирование видео, поколение видео из изображений и поколение на основе темы.
С "редактирование видео, Dreamix может легко воспроизводить входные видео и заменять элементы вашими любимыми объектами. Например, вы можете загрузить клип человека, разрезающего фрукт, и попросить ИИ заменить фрукт на кусок торта. Вы можете предоставить несколько кадров кукурузного поля и создать более драматичный пейзаж. Как всегда, я сначала покажу вам клипы двух примеров.
Dreamix умеет снимать видео начиная с изображений (и/или текстовые инструкции). В этом примере ИИ превратил статическое изображение в динамическую работу, вставив плавающую акулу и заставив черепаху двигаться. Положение и фон сохранены в соответствии с исходным изображением, а направление черепахи изменено.
Последняя из трех функций позволяет Dreamix создавать анимационные видеоролики из небольшой коллекции изображений, показывающих один и тот же объект. Например, если вы дадите этому ИИ несколько изображений игрушечного пожарного, он извлечет визуальные характеристики субъекта и анимирует их, чтобы субъект мог выполнять действия, определенные в текстовых инструкциях.
В итоге
Эта технология может изменить правила игры для творческих личностей, которые полагаются не только на словесный язык, но и вдохновляются изобразительным искусством. На данный момент результаты все еще кажутся очень неопределенными, но они по-прежнему демонстрируют способность ИИ понимать текстовые инструкции и контекст входных изображений.
Dreamix станет отличным подспорьем для ускорения создания раскадровки или создания эталонных иллюстраций. В настоящее время он недоступен для общественности (и нам интересно, сделает ли Google его одним из «знаменосцев» для ответа на ChatGPT), однако вскоре мы увидим, что этот или другие подобные инструменты разрабатываются разными компаниями.
Генеративному искусственному интеллекту также суждено сказать свое слово на телевидении и в кино. Хотите больше примеров? Вот и вся презентация.
