В России научили нейросети ориентироваться во времени

Учёные Центра практического искусственного интеллекта Сбербанка совместно с исследователями Сколтеха (входит в группу ВЭБ.РФ) предложили решение, которое меняет подход к работе с событийными данными. Архитектура COTIC (Continuous-Time Convolutional, многослойная непрерывная свёртка) позволяет нейросетям учитывать реальные временные промежутки между действиями пользователя, а не просто порядок этих действий. Это означает, что рекомендательные системы, финансовые сервисы и любые платформы, где важно поведение клиента, станут точнее понимать его привычки и предпочтения.

Классические свёрточные нейросети (CNN) отлично зарекомендовали себя в задачах с равномерными сетками — например, при обработке изображений. Но когда речь заходит о последовательностях событий с разными интервалами — будь то клики пользователя, покупки или визиты в приложение, — традиционные методы ломаются. Чтобы применить CNN, данные приходится дискретизировать, искусственно разбивать на равные промежутки, теряя при этом критически важную информацию о том, сколько времени прошло между действиями.

Российские учёные решили эту задачу. Разработанная ими архитектура представляет собой полноценную свёрточную нейросеть, работающую в непрерывном времени. Модель обучается на сырых данных, улавливает длинные зависимости между событиями без использования рекурсивных механизмов, которые часто замедляют вычисления, и формирует универсальные эмбеддинги. Затем их можно применять для прогнозирования, классификации или поиска аномалий.

Результаты экспериментальных испытаний подтвердили эффективность подхода. COTIC превзошла существующие рекуррентные, трансформерные и классические свёрточные методы на нескольких общепринятых датасетах (RMTPP, Neural Hawkes, ODETPP, THP, THP2SAHP, Attentive NHP, WaveNet, CCNN) в задачах предсказания времени и типа следующего события. Модель обеспечила лучший средний ранг среди всех сравниваемых архитектур. Сформированные ею эмбеддинги также показали высокие результаты на открытых финансовых и рекомендательных датасетах.

«До сих пор мы учили нейросети понимать последовательности, но игнорировали паузы между действиями, – отметил Сергей Рябов, старший управляющий директор, директор по AI-трансформации Сбербанка. – Для человека пауза в пять секунд и пять дней — это принципиально разные паттерны поведения. Разработанный нашими учёными метод, впервые позволяет модели "чувствовать" эту разницу нативно. Мы не просто улучшили метрики на датасетах, но дали индустрии универсальный инструмент, который можно применять везде, где важна временная структура событий: от e-commerce до финансового мониторинга. И лучшая часть в том, что мы сделали это в рамках классической парадигмы CNN, сохранив вычислительную эффективность классических свёрточных сетей».

Для бизнеса это открывает новые возможности работы с нерегулярными последовательностями: от истории покупок и кликстрима до логов систем и визитов клиентов. Для пользователей это означает, что рекомендательные сервисы станут качественнее и естественнее. Вместо навязчивого предложения «вы смотрели этот товар» система сможет предлагать решения, опираясь на точный временной ритм жизни человека.

«В нашем исследовании мы пересмотрели подход к работе со временем в последовательностях событий, – сказал Алексей Зайцев, доцент Сколтеха, заведующий лабораторией прикладных исследований «Сколтех–Сбербанк» Центра ИИ Сколтеха. – Мы не задаём явно функцию времени или его параметризацию, а позволяем модели работать с ним напрямую. Это даёт нам возможность учитывать, насколько события удалены друг от друга, даже если они происходят неравномерно. Непрерывные свёртки избавляют от искусственных предположений о виде временной динамики, при этом сохраняя линейную вычислительную сложность и хорошую масштабируемость».

Научная статья с описанием метода принята на конференцию и опубликована в журнале Q1 IEEE Access.