Нейросеть Speech2Face рисует портреты людей по голосу!

Нейросети способны творить чудеса! Вычислительная мощь машин, работающая под управлением умных алгоритмов, демонстрирует в реальности то, что раньше можно было встретить в смелых произведениях фантастов. И вот еще один удивительный пример того на что способны современные нейронные сети.

Исследователи из Массачусета создали ИИ, способный создавать портреты людей только по их голосу. На первый взгляд, это просто невозможно, но ученые уже продемонстрировали результаты своей работы – их нейронная сеть, на самом деле, рисует портреты. Работа системы пока не доведена до совершенства, но, как заявляют разработчики, есть определенный потенциал, который можно развить.

Стоит понимать, что исследователи изначально не ставили перед собой такой цели, как воссоздание точных портретов. ИИ «умеет» с достаточной точностью определять такие важные характеристики человека, как пол, возраст и национальную принадлежность. Отмечается, что при определении возраста имеется сравнительно высокая погрешность, но ее можно существенно снизить, проведя дополнительное обучение.

Многим, наверняка, будет интересно, как были достигнуты такие выдающиеся результаты. Разработчики охотно делятся опытом и сообщают ступени своей работы. Прежде всего, им пришлось загрузить в нейросеть пакет набор AVSpeech, в котором содержится не менее 1 000 000 коротких по хронометражу видеороликов с говорящими людьми разных национальностей, полов и возрастов.

При этом разработчики «скормили» нейросети видеоряд и звуковые дорожки отдельно друг от друга, чтобы материал был изучен максимально тщательно. Один алгоритм создавал портреты людей с видео только на основании картинки, а другой вносил в этот промежуточный результат коррективы на основании информации, «считанной» с голоса.

Возможности новой нейросети впечатляют, но как они могут быть применены на практике? Исследователи дают ответ и на этот вопрос. Например, можно создавать онлайн-системы, где при регистрации на основании данных голоса она будет самостоятельно создавать картинку-аватар каждого пользователя.

Источник