Среда 18.06.2025 20:03
Войти
Войти Забыли пароль?
Зарегистрироваться
свежие приложения:   НГ-Религии
Константин Ремчуков. Китай научился извлекать уран из морской воды вдвое дешевле, чем раньше МониториНГ

Константин Ремчуков. Китай научился извлекать уран из морской воды вдвое дешевле, чем раньше

0
290
Новости

Вести переговоры с Ираном еще не слишком поздно — Трамп

0
269
Кишинев парализовал пророссийские регионы СНГ

Кишинев парализовал пророссийские регионы

0
71
Новости

Западные СМИ не искажают точку зрения Путина при прямом общении — Песков

0
300
Сбер сообщил о запуске платформы кейсов внедрения искусственного интеллекта в БРИКС Новости

Сбер сообщил о запуске платформы кейсов внедрения искусственного интеллекта в БРИКС

0
253
Цены новостроек отстают от общей инфляции Экономика

Цены новостроек отстают от общей инфляции

0
970
Госдума приняла живое участие в "Бесогоне" Политика

Госдума приняла живое участие в "Бесогоне"

0
1404
Война на Ближнем Востоке может лишить Киев поддержки Вашингтона Воины и Армии

Война на Ближнем Востоке может лишить Киев поддержки Вашингтона

0
1148
На саммите "Большой семерки" Зеленскому пришлось ограничиться поддержкой "шестерки" СНГ

На саммите "Большой семерки" Зеленскому пришлось ограничиться поддержкой "шестерки"

0
36
Моди не уступил Вашингтону В мире

Моди не уступил Вашингтону

0
7
Тегеран готовят к опустошению В мире

Тегеран готовят к опустошению

0
1615
"Гражданская инициатива" начала свой судебный путь Политика

"Гражданская инициатива" начала свой судебный путь

0
885
В Армении российского миллиардера обвинили в призывах к захвату власти СНГ

В Армении российского миллиардера обвинили в призывах к захвату власти

0
53
Киргизию готовят к переименованию СНГ

Киргизию готовят к переименованию

0
50
Колумбийскому президенту не дают построить социализм с человеческим лицом В мире

Колумбийскому президенту не дают построить социализм с человеческим лицом

0
21
Китай стал рекордсменом по росту ядерного арсенала В мире

Китай стал рекордсменом по росту ядерного арсенала

0
1115
Девальвация понятия "колледж", возможно, не за горами Образование

Девальвация понятия "колледж", возможно, не за горами

0
93
Эффективность высшего образования в провинции растет Образование

Эффективность высшего образования в провинции растет

0
99
Нюансы прошедшего экзамена по математике для "физиков" и "лириков" Я так вижу

Нюансы прошедшего экзамена по математике для "физиков" и "лириков"

0
174
Москвичи освоят акватории двух рек Москва

Москвичи освоят акватории двух рек

0
69
Курентзис заставляет время и чувства замереть Культура

Курентзис заставляет время и чувства замереть

0
883
Выставка Карла Брюллова "Рим–Москва–Петербург" в Новой Третьяковке продлится полгода Культура

Выставка Карла Брюллова "Рим–Москва–Петербург" в Новой Третьяковке продлится полгода

0
912
Задача трех вождей Идеи и люди

Задача трех вождей

0
1188
От скалодромов до цифровых лабораторий: как гранты Эн+ меняют городскую среду Общество

От скалодромов до цифровых лабораторий: как гранты Эн+ меняют городскую среду

0
647
0
0
2990

Ученые Сбера научили легковесные модели искусственного интеллекта распознавать эмоции в сложных условиях

16:15 23.04.2025


Ученые лаборатории искусственного интеллекта Сбербанка предложили инновационный подход к распознаванию эмоций в реальных условиях. Результаты исследования они представили в работе Leveraging Lightweight Facial Models and Textual Modality in Audio-visual Emotional Understanding in-the-Wild («Использование легковесных моделей анализа лица и текстовых модальностей в аудиовизуальном понимании эмоций в естественных условиях»). Ее приняли к публикации на международном воркшопе Affective Behaviour Analysis in-the-Wild (ABAW) конференции CVPR (Core A*).

Работа демонстрирует, как комбинация визуальных, акустических и текстовых данных повышает точность эмоционального анализа на основе моделей искусственного интеллекта. На практике системы распознавания эмоций часто сталкиваются с несколькими проблемами. Во-первых, это низкая точность в условиях изменяющегося освещения, ракурсов или фонового шума. Во-вторых, высокие вычислительные затраты современных алгоритмов, затрудняющие возможность обработки чувствительной персональной информации (видео лиц) на пользовательских устройствах. Наконец, для обучения моделей необходимы большие объемы данных, при этом качественная разметка несколькими экспертами эмоций на видео обычно занимает много времени.

Решение исследователей Сбера основано на трех ключевых аспектах. Эксперты предложили использовать обученные на открытых наборах фотографий эмоциональных лиц эффективные нейронные сети (EmotiEffNet, MobileViT, MobileFaceNet) для анализа мимики, что позволяет эффективно работать в режиме реального времени даже на обычных смартфонах. Кроме этого, для снижения нагрузки на систему и повышения точности проводится фильтрация кадров, эмоции на которых надежно распознаются с помощью предобученных моделей. Также ученые доказали, что комбинирование данных из разных источников (текст, аудио, видео) с помощью метода «позднего слияния» (late fusion) ускоряет адаптацию модели к решению новых задач.

На восьмом международном конкурсе ABAW такой подход занял 1-е место в задачах распознавания выражений лица и амбивалентности (нерешительности) и 3-е место в оценке интенсивности эмоций и детектировании микровыражений (action units). Точность (средняя F1-мера) выросла на 1,5–15% по сравнению с базовыми методами, которые основаны на традиционных нейросетевых моделях лиц (VGGFace) и акустических признаках (wav2vec 2). Материалы, которые были использованы в исследовании, собраны в библиотеке EmotiEffLib.

Виртуальные ассистенты и чат-боты на базе технологии российских ученых будут точнее определять эмоции пользователей. Например, образовательные платформы смогут адаптировать контент под настроение ученика, повышая эффективность обучения. Бизнес может получить инструмент для анализа эмоциональных реакций клиентов на продукты и рекламные кампании. В медицинской сфере умные системы мониторинга психического здоровья научатся выявлять признаки тревожности или депрессии на ранних стадиях. Инструменты на основе искусственного интеллекта, которые уже применяют в социальной сфере, станут более естественно взаимодействовать с людьми и точнее обрабатывать их запросы.

«Коллегам удалось разработать новые методы мультимодального анализа эмоций с оптимизацией вычислений. Это исследование приближает нас к созданию эмпатичного искусственного интеллекта, который сможет точно и быстро распознавать эмоции человека в реальных условиях, – отметил директор Лаборатории искусственного интеллекта Сбербанка Глеб Гусев. – Возможности для прикладного применения этой технологии очень широки – от виртуальных помощников до интеллектуальных систем в медицине и образовании. Такие решения в любой области помогут создать индивидуальный подход к каждому пользователю и, самое главное, будут эффективнее помогать людям справляться с разными задачами».


Оставлять комментарии могут только авторизованные пользователи.

Вам необходимо Войти или Зарегистрироваться

комментарии(0)


Вы можете оставить комментарии.


Комментарии отключены - материал старше 3 дней

Новости


20:00 18.06.2025
В Иране ограничен доступ к сети Интернет, NetBlocks пишет о почти полном его отключении
0
1
18:20 18.06.2025
При возвращении на рынок РФ, ни о каких преференциях для западных компаний не может быть и речи - Дмитриев
0
185
18:03 18.06.2025
Решение Сбера поможет бизнесу лучше прогнозировать поведение клиентов
0
185
17:40 18.06.2025
Вести переговоры с Ираном еще не слишком поздно — Трамп
0
267
17:30 18.06.2025
Сбер сообщил о запуске платформы кейсов внедрения искусственного интеллекта в БРИКС
0
250
17:12 18.06.2025
Израиль ликвидировал штаб внутренней безопасности Ирана — глава израильского МО
0
282
17:00 18.06.2025
Западные СМИ не искажают точку зрения Путина при прямом общении — Песков
0
298
16:41 18.06.2025
Международный день йоги пройдёт в Царицыне и на ВДНХ
0
261
16:32 18.06.2025
Около 20% рабочих мест в России являются критически низкопроизводительными — эксперт
0
269
16:18 18.06.2025
Александр Ведяхин пригласил исследователей из стран-участников ПМЭФ выступить на AI Journey
0
283

Возврат к списку