Искусственный интеллект смог визуализировать 2D изображения.

Когда люди смотрят на фото, они представляют у себя в голове, чем занимался человек, находящийся в кадре: бежал ли он, на месте прыгал или  может мечтал о чем-то? К сожалению данная программа не даст точного ответа на то, что именно происходило на фото, потому что данная задача является невероятно сложной.

На сегодняшний день разработчики занимаются усовершенствованием программы, которая на данном этапе может визуализировать лишь малую часть действий человека на фотографиях. Например, год назад исследователи из Тель-Авивского университета и компании Facebook запрограммировали модель, которая анимирует мимику лица человека в момент съемки фотографии.

Еще один состав исследователей из Вашингтонского университета и Facebook, под руководством Иры Кемельмахер-Шлицерман, создал программу, которая способна визуализировать выбегание человека из кадра (из простой двумерной фотографии).

 Разработчиками были приложены немалые усилия и в следствии этого они создали алгоритм, который включает в себя группу программ, разработанных ранее. На входе данный алгоритм принимает 2D картинку и сканирует ее, благодаря нейросети Mask R-CNN. На данном этапе искусственный интеллект изучает кадр и находит ту часть изображения на которой находится человек, отделяет его от фона. Следующим этапом является преобразование отделёного человека. Его изображение замещается двумерной моделью скелета. состоящего из прямых сегментов и соединений. И завершением данной работы является последняя из программ, которая создает реалистичный фон за вырезанным объектом (в нашем случае человеком), над которым и были совершены все предыдущие действия.

Следующим действием программа преобразует ранее обработанную 2D модель в 3D, присваивает ей текстуру человека, созданную из первоначальной фотографии. В конечном этапе люди могут получить программу, которая при обработке кадра будет присваивать определенному человеку на нем случайные действия, например: прыгать, бегать, давать пять и прочее. Помимо данных возможностей юзер способен собственноручно менять положение частей тела человека, перед тем как запустить анимацию.

Исследователи также разработали несколько специальных возможностей модели. Они добавили возможность не только обрабатывать модель и визуализировать ее, а также они смогли спроецировать ее в виртуальной реальности. Благодаря данному алгоритму разработчики смогли изобразить интерактивную картину на стене вместо простой.

Год назад учеными под руководством Иры Кемельмахер-Шлицерман была создана другая программа для обработки и создания реалистичной анимации. Она способна добавлять записанную, а главное, чужую речь в любое место видеоряда, в результате этого изменялась мимика человека, которая подстраивалась под воспроизводимую аудиозапись. Таким образом было получено видео с измененной мимикой человека, которая полностью соответствовала словам, произносимым в записи.

Полная статья находится здесь: https://arxiv.org/pdf/1812.02246.pdf

Источник

Интересное по теме