Российские ученые предложили способ уменьшить нагрузку на вычислительные ресурсы при обучении нейросетей

Специалисты Центра практического искусственного интеллекта Сбербанка и исследователи из МФТИ представили исследование, которое может значительно ускорить обучение распределенных и федеративных моделей машинного обучения. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» принята на крупную международную конференцию AAAI’25 (Association for the Advancement of Artificial Intelligence).

Современные вызовы в области искусственного интеллекта (AI) требуют извлечения сложных зависимостей из больших объемов обучающих выборок. Сегодня нейросетевые модели содержат миллиарды параметров, повышая интерес к распределенным постановкам, в которых для ускорения процесса обучения данные разделены между тысячами машин. В таком сценарии, основная часть времени обучения тратится на обмен информацией между устройствами. При этом если коммуникации организованы неэффективно, распределенный подход может оказаться даже медленнее чем классический централизованный.

Основная идея исследования — сокращение времени, которое тратится на обмен данными между устройствами в распределённых системах обучения больших AI-моделей. За счёт использования гомогенности локальных выборок и сжатия передаваемой информации метод позволяет реже синхронизировать устройства и передавать меньше данных при общении, не теряя в качестве модели. Это особенно важно для задач, где пропускная способность соединения ограничена, а задержки в передаче данных замедляют процесс обучения.

Разработка найдёт применение в компаниях, использующих распределённое обучение, — от финансового сектора до телекома и промышленности. Метод сокращает затраты на вычислительные ресурсы и ускоряет внедрение AI-моделей на практике. Он открывает путь к более эффективным алгоритмам и более динамичному развитию AI-технологий.

«Исследование решает ключевую проблему распределённого обучения — коммуникационные издержки. Мы показали, как использовать гомогенность данных в сочетании с техниками сжатия для снижения нагрузки на сеть за счет более редкого обмена информацией сервера с устройствами. Такой подход не только ускоряет процесс обучения больших AI-моделей, но и сокращает энергозатраты. Наша работа открывает новые возможности для масштабирования искусственного интеллекта и будет полезна организациям, которые работают с большими распределёнными системами. В будущем такие методы помогут сделать AI-технологии более доступным и эффективным», – отметил Глеб Гусев, директор Центра практического искусственного интеллекта Сбербанка.

«Нашей целью было объединить современные подходы к эффективным коммуникациям - ускорение, сжатие и учёт похожести данных - в единый алгоритм с чёткими теоретическими гарантиями. Для смещенных компрессоров построен алгоритм, имеющий рекордную коммуникационную сложность за счет правильной адаптации фреймворка компенсации ошибки к ускоренной схеме с локальными шагами. Проведенная нами эмпирическая валидация показывает, что при правильной настройке методов можно радикально сократить время обучения без потерь в точности. Это особенно важно для практического внедрения искусственного интеллекта в ограниченных по ресурсам средах, таких как сети с edge-устройствами», – прокомментировал Александр Безносиков, кандидат физико-математических наук, доцент кафедры МОУ, директор Исследовательского центра агентных систем искусственного интеллекта МФТИ.