В Deepfake Dub: Flawless актеры будут играть на всех языках

Я не могу точно сказать, что теряется при переводе, когда дублируют сериалы, фильмы и шоу. У меня есть друг, который снимал бы с меня шкуру, чтобы увидеть работы на языке оригинала с субтитрами. Я предпочитаю дубляж (иногда даже в одних и тех же итальянских фильмах: кем был бы Томас Милиан без Ферруччо Амендола?).

Команда стартапа Безупречный обещает никогда больше не заставлять нас думать об этом вопросе. Компания заявляет, что решила проблему языковых барьеров с помощью нововведения: deepfake dub.

Дипфейковый дубляж Flawless в сторону мультимедийного «Вавилона».

Мы часто думаем о deepfake это похоже на манипулирование всем изображением человека или сцены, но технология Flawless фокусируется на одном элементе: рту. 

Клиенты передают программное обеспечение компании видео из фильма или телешоу вместе с озвученными диалогами, записанными людьми. Модели машинного обучения Flawless затем создают новые движения губ, соответствующие переведенной речи, и автоматически вставляют их на лицо актера.

«Когда кто-то смотрит этот дублированный материал, его не отвлекает резкое слово или сквернословие», — говорит соучредитель Flawless. Ник Лайнс.

Актеры сохраняют оригинальную игру и стиль, на каком бы языке они ни говорили.

Ник Лайнс

На правильном пути

Результаты еще не на 100% безупречны, но уже неплохие. В демонстрационном видеоролике (см. ниже) вы найдете французский дубляж «Кодекса чести» (Несколько хороших мужчин) — юридической драмы 1992 года с Джеком Николсоном и Томом Крузом в главных ролях. Опрошенные носители французского языка сочли это гораздо более плавным, чем традиционный дубляж.

Что делает технологию Flawless действительно интересной, так это соотношение цены и качества. Дипфейковые дубляжы дешевы и быстро создаются, особенно по сравнению со стоимостью полных ремейков. А с появлением глобальных потоковых платформ, таких как Netflix, Disney Plus и Amazon Prime Video, найти место для этого контента стало проще, чем когда-либо.

Лучше, чем римейк

Дипфейковый дубляж «Безупречного» в некоторой степени сохраняет игру оригинального актера. 

Безупречная технология основана на исследованиях Института информатики Макса Планка. опубликовано для впервые в 2019 году. Как вы можете видеть на видео ниже, озвучка чувствительна к мимике артистов.

Другой пример раунда

Возможность сохранения оригинального исполнения может быть привлекательной для режиссеров, желающих сохранить волшебство своего оригинального состава. Пример? Датский фильм, получивший Оскар 2020 года. Другой раунд, в котором Мадс Миккельсен входит в группу учителей, которые испытать алкоголизм чтобы увидеть, улучшит ли это их жизнь. После домашнего успеха фильм готов к переделке для англоязычной аудитории с Леонардо Ди Каприо в главной роли.

Почему?

Неужели культура датских пьющих (основа фильма) настолько чужда американской аудитории, что необходим римейк? Миккельсена уже снимались в таких фильмах, как Ганнибал , Доктор Странный e Разбойник Один, неужели он настолько неизвестен, что не может привлечь зрителей в другие страны?

Дипфейк-дубляж был бы более дешевым способом принести Другой раунд для англоязычной аудитории, сохраняя при этом свой первоначальный колорит. «Они говорят о 60 миллионах долларов на создание этого фильма», — говорит Лайнс. 

Если мы предлагаем что-то, что составляет 2% от стоимости римейка, даже если бы фильм был привлекательным, половина ремейка была бы в 10 раз лучше.

Соображения

Я думаю, что в результате применения этой технологии привлекательность актеров изменится во всем мире. Выступления разных людей и выбор режиссеров будут лучше узнаваемы, потому что их сможет увидеть более широкая аудитория. В (далеком?) Будущем категория «лучший зарубежный фильм» может исчезнуть, а «Оскар» может просто стать универсальной наградой.

В любом случае, графика официального дебюта «Безупречного» на телевидении или в кино пока нет. Это будет настоящее испытание.