Исследователи ускорили обучение нейросетей на CPU в 15 раз

Все материалы на данном сайте взяты из открытых источников — имеют обратную ссылку на материал в интернете или присланы посетителями сайта и предоставляются исключительно в ознакомительных целях. Права на материалы принадлежат их владельцам. Администрация не несет ответственности за содержание материалов предоставленных партнерами. Если Вы обнаружили на нашем сайте материалы, которые нарушают авторские права, принадлежащие Вам, Вашей компании или организации, пожалуйста, сообщите нам.

Ученые из Университета Райса разработали сублинейный механизм глубокого обучения (SLIDE), который работает на центральном процессоре и тренирует нейронные сети в 4-15 раз быстрее, чем на платформах с графическими ускорителями. Об сообщает официальный сайт университета.

В 2019 году команда исследователей переработала обучение нейросетей из перемножения матриц в задачу поиска, которую можно решить с помощью хеш-таблиц. 

Затем ученые улучшили производительность алгоритма с помощью ускорителей векторизации и оптимизации памяти в современных процессорах.

«Если вы не зациклены на умножении матриц, вы можете использовать мощность современных процессоров и обучать модели искусственного интеллекта в 4–15 раз быстрее», — сказала Шабнам Дагаги, соавтор исследования.

Руководитель проекта Аншумали Шривастава, доцент кафедры информатики, считает, что использование центральных процессоров вместо графических ускорителей позволит значительно удешевить процесс обучения нейронных сетей.

Он добавил, что только на обучение и настройку моделей ИИ компании тратят миллионы долларов в неделю.

Напомним, в конце марта года компания Arm представила девятое поколение архитектуры для мобильных процессоров, в котором производители сконцентрировали усилия на увеличении производительности алгоритмов ИИ.

В феврале 2021 года китайский IT-гигант Baidu вел переговоры с инвесторами, которые могли бы вложить средства в его новый бизнес по производству ИИ-процессоров для беспилотных автомобилей.

Источник: forklog.com