Ученые Сбера рассказали о достижениях в области искусственного интеллекта на международной конференции EACL-2024

Исследователи Сбера и SberDevices выступили с докладами о двух работах по искусственному интеллекту на 18-й европейской конференции в области компьютерной лингвистики EACL 2024 на острове Мальта.

О работе на тему исследования свойств трансформерных архитектур моделей, в которой принимали участие ученые Сбера, рассказали кандидат технических наук, руководитель научной группы FusionBrain научного партнера Сбера – Института AIRI Андрей Кузнецов и научный сотрудник группы FusionBrain Антон Разжигаев. Соавтором работы выступил управляющий директор по исследованию данных Сбербанка Денис Димитров.

Исследователи изучили как меняются важные свойства эмбеддингов (числовых представлений данных) двух типов архитектур больших языковых моделей, которые, в свою очередь, часто используются в задачах обработки естественного языка. Полученные результаты на следующем этапе исследований помогут дистиллировать языковые модели, то есть уменьшать их размеры, с минимальной потерей качества (с контролем изменения ошибки при дистилляции). Это необходимо для создания новых архитектурных решений в процессе обучения моделей и снижения требуемых для него вычислительных затрат. Тезисы опубликованы на сайте конференции.

Руководитель команды AGI NLP в R&D SberDevices Алена Феногенова и NLP ML-инженер Сбербанка Марк Баушенко представили свое исследование о генеративных подходах к исправлению орфографии. В рамках работы над проектом команда разработала методологию коррекции орфографии, выпустила открытую библиотеку SAGE, а также датасеты и семейство генеративных моделей, обученных для задачи исправления орфографии. Лучшая модель опережает по качеству открытые решения (HunSpell, JamSpell) и модели OpenAI (gpt-3.5-turbo-0301, gpt-4-0314, text-davinci-003). Академическая статья доступна на сайте конференции.