Создан инструмент для удешевления вычислений при разработке ИИ

На фоне стремительного роста затрат на обучение и эксплуатацию моделей искусственного интеллекта компании ищут не только более мощные GPU, но и способы эффективнее использовать уже имеющиеся ресурсы. Команда ученых Института AIRI опубликовала в открытом доступе KernelEvo — фреймворк автоматической генерации и оптимизации GPU-ядер, который позволяет снижать стоимость вычислений за счёт более эффективного кода.

Современные ИИ-системы опираются на графические ускорители, где исполняются специализированные программы — GPU-ядра (kernels). Именно они реализуют ключевые операции: умножение матриц, нормализации, свёртки, агрегации. Хотя сами элементарные операции относительно просты, объединить их в общий код без потери производительности на GPU — задача куда более сложная.

Универсальные библиотеки не всегда дают максимальную эффективность. В реальных продуктовых сценариях часто требуется объединить несколько операций в одну, добавить нестандартную логику или оптимизировать использование памяти под конкретную архитектуру. В таких случаях компании пишут собственные CUDA или Triton-ядра.

Хорошо оптимизированное ядро способно ускорить операцию на десятки процентов. В масштабах крупных ИИ-проектов это означает тысячи сэкономленных GPU-часов и миллионы рублей в год. Создание такого кода — дорогой и дефицитный навык.

Традиционно разработка GPU-ядра представляет из себя итеративный процесс, когда инженер проектирует схему параллелизации, управляет иерархией, тестирует разные размеры блоков и стратегию доступа к данным, затем профилирует результат и вносит изменения. Этот цикл может длиться дни и недели. Более того, он плохо масштабируется: каждую новую задачу приходится оптимизировать заново. Сильные специалисты по GPU — ограниченный ресурс, а рост вычислительных нагрузок в ИИ-индустрии только усиливает дефицит.

KernelEvo предлагает заменить ручной перебор гипотез автоматическим циклом поиска. Вместо модели «написал — проверил — переписал» используется автоматический цикл, в котором система генерирует варианты CUDA или Triton-реализации, запускает тесты и профилирование, исправляет ошибки и повторяет цикл. Оптимизация превращается в управляемый перебор пространства решений. Типовой запуск может включать генерацию до миллиона токенов кода и комментариев. Несмотря на вычислительные затраты на сам процесс, подход экономически оправдан при регулярном использовании и масштабировании на множество задач.

Сегодня компании, работающие с GPU-кодом, фактически выбирают между четырьмя подходами: полностью ручная разработка и оптимизация; использование LLM как «ко-пилота» с активным участием инженера; автоматический цикл с обратной связью — как в KernelEvo; полностью автономные агенты, самостоятельно проектирующие стратегию поиска. По мере движения от первого варианта к четвёртому снижается требуемая экспертиза, но растёт денежная стоимость процесса, однако, на практике баланс достигается во втором и третьем сценариях. Автоматическая эволюция ядер позволяет системно снижать долю ручного труда и повторно использовать инфраструктуру оптимизации для разных задач.

Для бизнеса GPU-ядро — это не просто фрагмент кода, а элемент юнит-экономики. Быстрее работающая операция означает сокращение времени обучения моделей, снижение затрат на облачную инфраструктуру, ускорение вывода продуктов на рынок и возможность обучать более крупные модели в рамках того же бюджета.

Если ключевая операция ускоряется в 1.5-2 раза, это напрямую влияет на стоимость одного эксперимента, релиза или запроса в системе инференса. В компаниях с большими вычислительными кластерами такие изменения масштабируются до значительных сумм.

Кроме того, автоматизация снижает зависимость от редких специалистов по низкоуровневой оптимизации. Это упрощает масштабирование команд и делает производительность более воспроизводимой.

«На фоне роста конкуренции в сфере ИИ компании всё чаще конкурируют не только качеством моделей, но и эффективностью их обучения и эксплуатации. В этой логике автоматическая эволюция GPU-ядер — не просто инструмент для разработчиков, а способ повысить маржинальность и устойчивость бизнеса. Представленный подход показывает, что снижение стоимости ИИ-вычислений возможно не только за счёт покупки более мощного оборудования, но и за счёт интеллектуальной автоматизации самого кода, который это оборудование использует», — отметил Иван Оселедец, доктор физико-математических наук, генеральный директор Института AIRI.

Получить доступ к KernelEvo можно по ссылкам на GitHub и GitVerse, использование инструмента бесплатное, распространяется под лицензией MIT.