Трамп вместо баскетболиста: у iPERCore для подмены людей на видео открытый исходный код
Программа iPERCore, размещённая на GitHub, имеет открытый исходный код. Пользователи могут загружать собственные изображения и вспомогательные видео, следуя рекомендациям разработчиков. Для примера, на сайте опубликованы скрины из видео, на котором силуэт баскетболиста заменили на Дональда Трампа.
Для того, чтобы создать качественную замену людей на видео, нужно придерживаться некоторых правил:
- исходное изображение не должно иметь сложных структурных сцен. Лучше всего использовать фотографии с реальным фоном;
- человек на исходном изображении должен находиться в той же позиции, что и персонаж на видео;
- снимать исходное изображение нужно без лишнего контраста, блокируя автоэкспозицию и автофокус камеры.
Также к iPERCore прилагается справочное руководство, которое поможет пользователям избежать ошибок. Во-первых, во время загрузки собственного медиаматериала необходимо убедиться в том, что на видео присутствует один человек, поскольку система не может отслеживать несколько объектов. Во-вторых, необходимо проверить качество съёмки: весь силуэт человека должен находиться в кадре.
Разработали приложение (Wen Liu), Чжисинь Пяо (Zhixin Piao), Чжи Ту (Zhi Tu), Вэньхань Луо (Wenhan Luo), Линь Ма (Lin Ma), и Шэнхуа Гао (Shenghua Gao). Известно, что они уже давно занимаются синтезом человеческих изображений, включая имитацию движения и передачу внешнего вида. В приложении iPERCore разработчики использовали модуль восстановления трёхмерной сетки тела, чтобы различать позу и форму объекта. Для сохранения исходной информации, такой как текстура, стиль, цвет, была задействована система AttLWB. Кроме этого, китайские программисты добавили новый набор данных для оценки имитации и синтеза новых движений.
iPERCore можно установить на Linux (версии Ubuntu 16.04 и 18.04) и Windows (версия Windows 10). Однако нужно обратить внимание, что для imags_size=512 требуется не менее 8 ГБ памяти в графическом чипе. Если же используется графический процессор среднего уровня, например, RTX 2060, то значение imags_size=512 требуется заменить на 384 или 256.
