Эксперты из Google Research и делльЕврейский университет Иерусалима они разработали Дримикс, программное обеспечение, которое может использовать любой материал для создания видеороликов, соответствующих текстовым инструкциям. Еще один шаг вперед для генеративного искусственного интеллекта в защите всех форм самовыражения (после Тести, изображения e аудио). Что особенного в Dreamix, так это то, что он не ограничивается текстовыми инструкциями, но также принимает референсные фото или видео для лучшей адаптации к идеям пользователей.
Три режима работы, начиная с текстовых инструкций, изображений, роликов
Начиная с изображений, клипов или текстовых инструкций, Dreamix предоставляет три основные функции: редактирование видео, поколение видео из изображений и поколение на основе темы.
С "редактирование видео, Dreamix может легко воспроизводить входные видео и заменять элементы любимыми объектами. Например, вы можете загрузить клип, где человек режет фрукт, и попросить ИИ заменить фрукт куском торта. Вы можете предоставить несколько снимков кукурузного поля и создать более драматическую сцену. Как всегда, я сначала покажу вам клипы двух примеров.
Dreamix умеет снимать видео начиная с изображений (и/или текстовые инструкции). В этом примере искусственный интеллект преобразовал статическое изображение в динамичное произведение, вставив плавающую акулу и заставив черепаху двигаться. Положение и фон были сохранены в соответствии с исходным изображением, но направление черепахи было изменено.
Последняя из трех функций позволяет Dreamix создавать анимационные видеоролики из небольшой коллекции изображений, показывающих один и тот же объект. Например, если вы скормите этому ИИ несколько изображений игрушечного пожарного, он извлечет визуальные особенности объекта и анимирует их, чтобы субъект мог выполнять действия, определенные в текстовых инструкциях.
В итоге
Эта технология может изменить правила игры для творческих людей, которые не только полагаются на вербальный язык, но и вдохновляются визуальным искусством. На данный момент результаты все еще кажутся очень неопределенными, но, тем не менее, они демонстрируют способность ИИ понимать текстовые инструкции и контекст входных изображений.
Dreamix может оказаться полезным помощником в ускорении создания раскадровки или создания справочных иллюстраций. В настоящее время он недоступен для общественности (и нам интересно, сделает ли Google его одним из «знаменосцев» для ответа на ChatGPT), однако не займет много времени, чтобы увидеть этот или другие подобные инструменты, разработанные разными компаниями.
Генеративному искусственному интеллекту суждено сказать свое слово также на телевидении и в кино. Хотите больше примеров? Вот и вся презентация.
