GigaChat обошел большинство моделей искусственного интеллекта по результатам русскоязычного теста MERA
17:15 06.02.2024
Нейросетевая модель Сбера GigaChat обошла большинство моделей в открытом доступе по итогам открытого бенчмарка MERA.
Для замера были представлены две инструктивные модели Сбера – GigaChat PRO и GigaChat Lite+. Бенчмарк MERA представляет собой набор из 21 задачи в формате инструкций на различные области знаний, в которых проверялся широкий ряд навыков моделей: от знаний о мире до умения программировать на Python. По итогу теста GigaChat PRO набрал 51,3 балла из 100, обогнав ближайшую модель Mixtral 8x7B Instruct (47,8).
Система открытый оценки позволяет объективнее и более прозрачно оценивать способности моделей. Чем больше модель набирает баллов, тем точнее искусственный интеллект может решать множество интеллектуальных или бытовых задач: помогать писать статьи в нужном стиле и формате, искать информацию и подготавливать на ее основе аналитику. А бизнес с его помощью может создавать собственные решения и оптимизировать внутренние процессы.
«В условиях, когда большие языковые модели активно развиваются, важно иметь актуальное представление об их реальных способностях, – отметил Андрей Белевцев, старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка. – Благодаря оценке пользователи могут понять, как применять GigaChat, а исследователи – получить объективную информацию для дальнейшего обучения, адаптации и развития больших языковых моделей. Это не только признание работы нашей команды, но и задел совершенствовать сервис, чтобы он становился еще более полезным и удобным как обычным пользователям, так и бизнесу».
Концепция бенчмарка MERA (Multimodal Evaluation for Russian-language Architectures) была анонсирована на международной конференции AI Journey 2023. В создании тестов участвовали ряд компании-участников Альянса в сфере искусственного интеллекта, а также академические партнеры Skoltech AI и НИУ ВШЭ. MERA воплотила в себе концепцию единого независимого лидерборда с фиксированными задачами и стандартизированными конфигурациями промптов и параметров. Бенчмарк позволяет оценивать предобученные модели (формат претрейнов), а также модели дополнительно дообученные на инструкционных данных (SFT формат).
Недавно система искусственного интеллекта от Сбера получила мощное обновление. Модели стали лучше отвечать на экономические, медицинские и правовые вопросы. Появилось больше экспертности и точности в сложных терминах, что видно в соответствующих датасетах на MERA.
Модель GigaChat Pro доступна всем пользователям бесплатно в веб-версии, Telegram, а также «ВКонтакте». Разработчикам и бизнесу все модели доступны через GigaChat API.
Комментарии отключены - материал старше 3 дней
Новости
- 19:00 18.05.2024
- Президент Болгарии считает невозможной победу над Россией в украинском конфликте
- 18:30 18.05.2024
- Буркина-Фасо, Мали и Нигер утвердили проект конфедерации
- 18:00 18.05.2024
- В Узбекистане рекомендовали не ехать в Казахстан соотечественникам, нарушившим закон в РФ
- 17:30 18.05.2024
- На Украине начался протест дальнобойщиков из-за нового закона о мобилизации
- 17:00 18.05.2024
- ВС РФ освободили населенный пункт Старица в Харьковской области
- 16:00 18.05.2024
- Один человек погиб и один ранен в результате атаки дрона ВСУ в Курской области
- 15:00 18.05.2024
- В Киеве заявили, что нуждаются в 120-130 истребителях F-16
- 14:00 18.05.2024
- Судно под флагом Танзании затонуло в Черном море
- 13:00 18.05.2024
- Логистические центры ВСУ поражены в Одесской области
- 12:30 18.05.2024
- В Киеве отвергли идею Макрона об олимпийском перемирии
комментарии(0)