0
0
3452

Cloud.ru представил облачный сервис Evolution ML Inference

18:16 17.04.2025


Провайдер облачных и AI-технологий Cloud.ru представил Evolution ML Inference – первый в России готовый облачный сервис для инференса (вывода) больших языковых моделей (LLM) с возможностью разделения графических процессоров (GPU) и гибким подходом к утилизации вычислительных ресурсов.

Помимо уже доступных в рамках сервиса Cloud.ru моделей GigaChat бизнес может запускать и развертывать собственные AI-модели и любые ML/DL open source модели из библиотеки Hugging Face на базе облачных GPU в несколько кликов.

Сервис уже доступен для пользователей в режиме General availability и войдет в состав Cloud.ru Evolution AI Factory – готового набора инструментов для работы с AI в облаке, анонсированного на ежегодной конференции GoCloud.

Evolution ML Inference подойдет для компаний и пользователей, которые разрабатывают AI- и ML-решения и хотят быстро и с минимальными затратами запустить собственную ML-модель и персональный конечный продукт для работы. Это полностью управляемый сервис – пользователь только настраивает конфигурацию, модель и тип масштабирования. При этом Cloud.ru предоставляет доступ к мощным графическим процессорам, а также выполняет полное администрирование и обслуживание инфраструктуры.

Ключевые преимущества сервиса:

– Shared GPU – технология позволяет разделять GPU-ресурсы и потреблять то количество vRAM (видеопамяти), которое необходимо для эффективной работы самой модели без задержек, с возможностью динамически перераспределять ресурсы в зависимости от текущих потребностей клиентов. Это повышает утилизацию мощностей в AI-проектах от 15 до 45% в сравнении со сценарием, когда графические процессоры используется полностью;

– простота и гибкость управления сервисом дают возможность, как запускать модели без необходимости сборки образа напрямую из Hugging Face, так и запускать собственные образы со своим окружением;

– решение обеспечивает высокую степень адаптации и рациональное использование доступных ресурсов: на одной видеокарте можно одновременно запускать несколько моделей. Это делает технологию наиболее оптимальной для распределенных систем с разнородной вычислительной инфраструктурой и помогает эффективно масштабировать нагрузку;

– режим скайлирования (эффективного масштабирования) – тарификация за использование модели начинается только в момент обращения к ней.

«По нашим оценкам, около 70% пользователей загружают GPU-ресурсы, зарезервированные под инференс в процессе эксплуатации ML-моделей, менее чем на 55%, – рассказал генеральный директор провайдера облачных и AI-технологий Cloud.ru Евгений Колбин. – При внедрении AI в большинстве случаев базой становится именно среда исполнения модели. Поэтому для получения экономии ресурсов и оптимизации затрат в ходе использовании технологий искусственного интеллекта, особенно GenAI, необходима производительная инфраструктура с гибким масштабированием в реальном времени».

«Глубоко изучив потребности клиентов и наиболее популярные запросы на инфраструктуру и сервисы для AI, мы представили рынку первый управляемый облачный сервис для инференса LLM. С его помощью бизнес может эффективно управлять вычислительными ресурсами в среде с высокой интенсивностью обработки данных. Благодаря размещению Evolution ML Inference в облаке компании могут упростить доступ к AI и сделать использование AI-инструментов проще и удобнее», – добавил Евгений Колбин.


Оставлять комментарии могут только авторизованные пользователи.

Вам необходимо Войти или Зарегистрироваться

комментарии(0)


Вы можете оставить комментарии.


Комментарии отключены - материал старше 3 дней

Новости


11:40 02.05.2025
Трамп запросит на нацбезопасность рекордный годовой бюджет в $1,01 трлн - Bloomberg
0
143
11:25 02.05.2025
В Москве объявили оранжевый уровень погодной опасности
0
185
11:10 02.05.2025
Из-за непогоды в Подмосковье 26 тыс. человек остались без электричества - Воробьев
0
169
09:40 02.05.2025
Трамп хочет ократить на $163 млрд расходы на необоронные нужды - СМИ
0
279
09:30 02.05.2025
Вэнс заявил, что РФ и Украина представили свои мирные предложения
0
298
20:30 01.05.2025
Пост советника Трампа по нацбезопасности может занять Стивен Уиткофф - Politico
0
937
19:45 01.05.2025
Сбер и курорт «Мрия» продолжают благоустройство Алупки
0
791
19:20 01.05.2025
Украина не сможет выйти из соглашения о недрах без разрешения США - депутат
0
997
19:10 01.05.2025
ЕС не хочет вести переговоры по урегулированию конфликта на Украине - Филиппо
0
1017
17:50 01.05.2025
В следующие 100 дней США планируют организовать прямые переговоры по Украине - Вэнс
0
854

Возврат к списку