В Disney научились корректировать выражение лица любого человека на видео, а американские программисты пошли еще дальше и научились создавать контролируемые трёхмерные модели лиц на основе фотографий. Все это вместе с мощным развитием компьютерной графики (вспоминаем "Аватар") можно назвать закатом золотого века голливудских (и не только) киноактеров.

Подробности и видео демонстрации достижений ниже...

Эмоции актеру не нужны? В Disney научились корректировать выражение лица человека на видео

Некоторые актеры и актрисы известны тем, что они практически не проявляют эмоций на экране. Каким образом с подобной мимикой можно оставаться востребованным и популярным актером не совсем ясно, но, быть может, эти представители мира кино просто что-то знают о будущем кинематографа, и особенно не переживают.

Дело в том, что компания Disney представила новую технологию, позволяющую усиливать или даже менять эмоции актера на уже отснятом видео. Делается это при помощи программного обеспечения, которое получило название Face Director. Это ПО умеет менять положение некоторых фреймов для достижения необходимого результата.

Программа анализирует лицо актера и аудио-материал для создания нового выражения лица человека. Это может быть удивление, или радость, или разочарование. Человек же может вообще просто улыбаться в кадр, особенно не стараясь как-то выражать свои эмоции. Интересно, что это ПО работает с обычным видео, отснятым при помощи 2D камеры. 

По мнению вице-президента Disney Research Маркуса Гросса (Markus Gross), новая технология поможет бюджетным фильмам. Дело в том, что многие режиссеры добиваются нужной сцены, повторяя один и тот же дубль несколько десятков, а то и сотен раз. Это можно делать, если бюджет фильма достаточно крупный, ведь повторение сцены требует и временных и денежных затрат. А что делать создателям фильмов с ограниченным бюджетом? В этом случае можно не мучить актера, а попытаться исправить не слишком удачный кадр самостоятельно. 

Ниже размещено видео с демонстрацией работы программы. Все это — один и тот же кадр, с использованием программы и без нее. Заметить, что происходит при работе ПО довольно сложно, выглядит все достаточно натурально. Возможно, теперь актеру теперь будет достаточно просто открывать рот, не выражая никаких эмоций, а программа все сделает сама. Будущее уже здесь, с этим не поспоришь.

Американские программисты научились создавать контролируемые трёхмерные модели лиц на основе фотографий

Команда программистов из Вашингтонского университета научилась создавать трёхмерную модель лица человека на основе достаточно большого количества его фотографий. Эти модели затем можно полностью контролировать – например, они способны автоматически воспроизводить мимические движения по фотографиям и видео других людей.

Свою работу исследователи назвали «Почему Том Хэнкс выглядит, как Том Хэнкс». В видеоролике они поясняют, что их система создаёт контролируемую трёхмерную модель лица на основе большой коллекции фотографий. Модель функционирует при помощи текстур, управляемых выражениями лица.

Модель, например, способна автоматически повторять выражение лица человека по одной его фотографии. Более того, она способна повторять мельчайшие движения лица человека по видеозаписи. И что самое удивительное – видеозапись одного человека может быть повторена с моделью совершенно другого человека.

В описании своей работы программисты пишут:

Наш ответ на вопрос, почему Том Хэнкс выглядит, как Том Хэнкс, состоит в том, что всё зависит от формы демонстрации – то есть системы, способной создавать убедительные рендеры того, как один актёр воспроизводит поведение другого. Мы долго работали над тем, чтобы разобраться, какой из методов подражания одного актёра другому будет наиболее убедительным. Наконец, мы пришли к выводу, что простое повторение движений актёра, которому мы пытаемся подражать, с использованием форм и текстур лица подражающего актёра, подходит для этой задачи наилучшим образом.

Означает ли это, что скоро Голливуд заполонят фильмы с участием молодых «версий» известных актёров или изображений давно умерших кумиров, оживающих при помощи компьютера? Склонность голливудских компаний к постоянному повторному использованию прибыльных техник, образов и актёров не может не наталкивать на такие мысли.