Сбер разрабатывает мультимодальный медицинский диагностический ассистент

Ученые Лаборатории искусственного интеллекта и Центра индустрии здоровья Сбербанка приступили к созданию GigaPevt – мультимодального медицинского диагностического ассистента на базе большой языковой модели GigaChat. В основе новой технологии – применение бесконтактных методов измерения медицинских параметров в сочетании с диалоговыми возможностями современных больших языковых моделей. Об этом было заявлено в рамках технологической конференции GigaConf.

Первый компонент ассистента значительно расширяет границы восприятия человека: технология дистанционной фотоплетизмографии позволяет по видео лица оценить ключевые социодемографические показатели и некоторые медицинские параметры, например, значение индекса массы тела. А его второй компонент, основанный на модели GigaChat, помогает грамотно выстроить и реализовать сценарий медицинской консультации.

У технологии большой потенциал применения в телемедицине: она позволяет автоматизировать наиболее рутинные этапы медицинского приёма и значительно повысить эффективность работы врача.

Научная работа, которая описывает технологию GigaPevt, есть в открытом доступе. В августе 2024 года демо технологии будет представлено на престижной конференции по искусственному интеллекту IJCAI (A*) в Южной Корее.

«Внедрение искусственного интеллекта в медицину – это важная работа, которая позволяет повышать качество оказания медицинской помощи, – отметил Сергей Жданов, директор Центра индустрии здоровья Сбербанка. – На базе ИИ мы реализуем несколько проектов. Так, на искусственном интеллекте основан наш цифровой помощник врача «ТОП-3»: он анализирует жалобы пациента и предлагает три наиболее вероятных диагноза из 265 групп диагнозов. «ТОП-3» делает диагностику более эффективной и точной. Сервис уже работает в 10 регионах России, врачи поставили с его помощью 20 млн предварительных диагнозов».

«Наша нейросетевая модель GigaChat в начале этого года успешно сдала экзамен на врача по направлению «лечебное дело», обучившись у специалистов Центра имени Алмазова, – добавил он. – Сейчас в сотрудничестве с Санкт-Петербургским медицинским университетом имени Павлова мы углубляем экспертные знания модели в конкретных областях медицины. Развитием GigaChat занимается большая профессиональная команда, что помогает быстро совершенствовать нашу модель. Мы не останавливаемся на достигнутом и ведем постоянную работу по применению технологий искусственного интеллекта в медицине, и GigaPevt внесет в это существенный вклад».