Не знаю, виной ли тому скука от рутинной действительности этого года и полное нежелание "генерить контент", или все дело в слишком заманчивой возможности побывать на месте известных личностей и примерить себя на место главных героев фильмов и мемов, но новый пожиратель моего времени и свободного пространства на жестком диске - приложение REFACE, доступное как для IOS, так и для Android. Расскажу по порядку, что это, и как оно работает.
Что такое дипфейк
Deepfake (дипфейк) происходит от сочетания смыслов «глубинное обучение» (англ. Deep learning) и «подделка» (англ. Fake), это методика синтеза изображения с помощью искусственного интеллекта. Она используется для соединения и наложения существующих изображений и видео на исходные изображения или видеоролики.
Deepfake может быть использован для замены определённых элементов изображения на желаемые образы, в частности для создания фальшивых порнографических видео со знаменитостями или для создания фэйковых новостей. Deepfake-порнография появилась в Интернете в 2017 году, в частности на Reddit, после чего была запрещена многими сайтами, включая Reddit, Twitter и Pornhub.
Как появилось и стало популярным приложение REFACE
Reface (ранее назывался Doublicat) — это один из проектов украинского стартапа RefaceAI (первоначальное название Neocortext), который основали Роман Могильный, Олесь Петрив и Ярослав Бойко в 2011 году. Позднее к ним присоединились Иван Алцибеев, Денис Дмитренко, Дима Швець и Кирилл Сыгыда. Офис разработки RefaceAI находится в Киеве. RefaceAI развивает технологию замены лиц на фото или видео с лицом одного человека можно «натянуть» лицо другого с сохранением мимики. Первая версия приложения подменяла лица на фото, после создатели перешли на гифки, а спустя полгода приложение было переименовано из Doublicat в Reface и вовсю меняло лица на видео.
В марте 2019-го Илон Маск опубликовал в Twitter фотографии со своим лицом вместо лица Дуэйна Джонсона, на изображении была вотермарка Reface. За счёт этой публикации трафик приложения многократно возрос. После, уже видеоклипами из приложения, стали регулярно веселить своих подписчиков такие гиганты, как Бритни Спирс и Snoop Dogg. По данным аналитического сервиса App Annie на 11 августа этого года, Reface входит в десятку самых популярных приложений на iOS в 13 странах, а на Android — в 19.
Базовая версия Reface бесплатная и имеет довольно ограниченную библиотеку, а пользу компании приносит вирусность такого контента и вотермарка, которая приводит в приложение новых пользователей. А основной доход (который не является тайной) компания получает от рекламы и платной подписки (199 рублей за неделю, 299 рублей за месяц и 1990 рублей за год), в которой, во-первых, есть возможность отключить вотермарку, а во-вторых, имеется доступ к более широкой, и постоянно обновляющейся, библиотеке клипов, изображений и гифок более высокого качества, чем в бесплатном варианте.
Как работает REFACE
Чтобы вставить своё лицо в гифку или видео, пользователь фотографируется в приложении или загружает фотографию с устройства, применяет один из шаблонов в библиотеке приложения, например фрагмент из фильма или отрывок музыкального клипа, и дальше алгоритм за несколько секунд натягивает фото на исходник. Результат можно скачать или поделиться им в соцсетях прямо из приложения.
Обычно при создании дипфейка много времени уходит на обучение нейросети - под каждое лицо нужно тренировать отдельную сеть. Однако RefaceAI создала универсальную нейросеть для замены любых человеческих лиц и обучила ее на миллионах изображений из открытых библиотек, поэтому она может менять лица и на фотографиях, и на видео, а дипфейк получается за секунды.
Получив фото пользователя, сеть «переводит» его в анонимизированный набор чисел. Через него ИИ опознает черты лица и перекладывает их на шаблон. Для создания видео используют, в том числе, генеративно-состязательные нейросети (GAN). Одна часть алгоритма учится на реальных фотографиях определенного объекта и создает изображение, в буквальном смысле «состязаясь» со второй частью алгоритма, пока та не начнет путать копию с оригиналом. Результат получается реалистичнее благодаря тому, что, соревнуясь, сети, к примеру, «подгоняют» цвет лица пользователя под освещение оригинальных ролика или картинки, а лица на видео - не застывшие картинки, а вполне живые, с мимикой оригинала.
Результат зависит, в том числе, от удачно подобранного конкретного фото и черт лица человека в какой-то мере, потому что некоторые типы внешности при использовании совершенно разных фотографий неуловимо искажаются, что приводит к тому, что нейросеть как-то по своему "видит" внешность с фото и применяет ее таким образом, что человека на видео узнать сложно. Из всего многообразия лично моих фотографий всего один портрет ложится абсолютно на любое видео идеально и так, что внешность узнаваема. Поэтому, если вам не понравился результат генерации видео по одному фото, не расстраивайтесь, и попробуйте другие - с иным ракурсом, светом и выражением лица.
Что дальше
Сейчас компания ведёт закрытое бета-тестирование веб-платформы Reface Studio. С её помощью создатели развлекательного контента смогут вставлять лица (и, возможно, даже тела) в абсолютно любые видео. Не всем это очевидно, но стоит отметить, что, конечно, есть пара вопросов на стыке юриспруденции и этики.
Первый заключается в том, что каждый, кто хоть раз пытался залить в Инстаграм любое личное видео с популярным треком на фоне знает, как ревностно сейчас там охраняется авторское право. Есть способы обойти ограничения, но все они сильно неудобные. Поскольку те отрывки фильмов и клипов, которые присутствуют в приложении, охраняются авторским правом, то можно предположить. что вы не сможете нигде поделиться тем, что нагенерит вам приложение. Но на самом деле, проблем лично у меня не возникало. Все дело в том, что для замены лиц на фотографиях разработчики используют изображения с открытыми лицензиями, гифки с платформ вроде Giphy или Tenor, а видео-контент создан так, чтобы подпадать под понятие добросовестного использования из авторского права (ограниченная длина роликов, нарезка, качество, использование в личных, а не в коммерческих целях и т.д.). Если правообладатель захочет исключить свои материалы из приложения, Reface удалит их.
Второй - в том, что пользователи приложения, по сути, играючи, делают одолжение ИИ, продолжая его обучение. Поскольку, очевидно, что, если кадры из известных фильмов с вашим лицом - это невинное развлечение, то возможность добавлять лицо любого человека в любое видео может привести к серьезным последствиям, как фейковые новости, скандалы или упомянутая выше фейковая порнография. Чтобы избежать возможных негативных последствий применения технологии, создатели приложения планируют применить запрет анонимности при пользовании сервиса и дополнение сгенерированных видео невидимой глазу меткой о том, что данное видео является результатом работы ИИ, когда дело дойдет до Reface Studio и рандомных видео, а не только популярных.
