0
0
3514

Cloud.ru представил облачный сервис Evolution ML Inference

18:16 17.04.2025


Провайдер облачных и AI-технологий Cloud.ru представил Evolution ML Inference – первый в России готовый облачный сервис для инференса (вывода) больших языковых моделей (LLM) с возможностью разделения графических процессоров (GPU) и гибким подходом к утилизации вычислительных ресурсов.

Помимо уже доступных в рамках сервиса Cloud.ru моделей GigaChat бизнес может запускать и развертывать собственные AI-модели и любые ML/DL open source модели из библиотеки Hugging Face на базе облачных GPU в несколько кликов.

Сервис уже доступен для пользователей в режиме General availability и войдет в состав Cloud.ru Evolution AI Factory – готового набора инструментов для работы с AI в облаке, анонсированного на ежегодной конференции GoCloud.

Evolution ML Inference подойдет для компаний и пользователей, которые разрабатывают AI- и ML-решения и хотят быстро и с минимальными затратами запустить собственную ML-модель и персональный конечный продукт для работы. Это полностью управляемый сервис – пользователь только настраивает конфигурацию, модель и тип масштабирования. При этом Cloud.ru предоставляет доступ к мощным графическим процессорам, а также выполняет полное администрирование и обслуживание инфраструктуры.

Ключевые преимущества сервиса:

– Shared GPU – технология позволяет разделять GPU-ресурсы и потреблять то количество vRAM (видеопамяти), которое необходимо для эффективной работы самой модели без задержек, с возможностью динамически перераспределять ресурсы в зависимости от текущих потребностей клиентов. Это повышает утилизацию мощностей в AI-проектах от 15 до 45% в сравнении со сценарием, когда графические процессоры используется полностью;

– простота и гибкость управления сервисом дают возможность, как запускать модели без необходимости сборки образа напрямую из Hugging Face, так и запускать собственные образы со своим окружением;

– решение обеспечивает высокую степень адаптации и рациональное использование доступных ресурсов: на одной видеокарте можно одновременно запускать несколько моделей. Это делает технологию наиболее оптимальной для распределенных систем с разнородной вычислительной инфраструктурой и помогает эффективно масштабировать нагрузку;

– режим скайлирования (эффективного масштабирования) – тарификация за использование модели начинается только в момент обращения к ней.

«По нашим оценкам, около 70% пользователей загружают GPU-ресурсы, зарезервированные под инференс в процессе эксплуатации ML-моделей, менее чем на 55%, – рассказал генеральный директор провайдера облачных и AI-технологий Cloud.ru Евгений Колбин. – При внедрении AI в большинстве случаев базой становится именно среда исполнения модели. Поэтому для получения экономии ресурсов и оптимизации затрат в ходе использовании технологий искусственного интеллекта, особенно GenAI, необходима производительная инфраструктура с гибким масштабированием в реальном времени».

«Глубоко изучив потребности клиентов и наиболее популярные запросы на инфраструктуру и сервисы для AI, мы представили рынку первый управляемый облачный сервис для инференса LLM. С его помощью бизнес может эффективно управлять вычислительными ресурсами в среде с высокой интенсивностью обработки данных. Благодаря размещению Evolution ML Inference в облаке компании могут упростить доступ к AI и сделать использование AI-инструментов проще и удобнее», – добавил Евгений Колбин.


Оставлять комментарии могут только авторизованные пользователи.

Вам необходимо Войти или Зарегистрироваться

комментарии(0)


Вы можете оставить комментарии.


Комментарии отключены - материал старше 3 дней

Новости


10:00 18.05.2025
В Москве сократилось число квартирных краж на 40% - прокуратура
0
29
09:30 18.05.2025
Рубио: Переговоры РФ и Украины в Стамбуле «не стали пустой тратой времени»
0
72
09:00 18.05.2025
В Польше проходят президентские выборы
0
86
21:00 17.05.2025
В результате столкновения вертолетов в Финляндии погибли 5 человек
0
792
20:30 17.05.2025
Власти РФ планируют поэтапно запретить пластиковую посуду на Байкале
0
716
20:00 17.05.2025
Медведев предостерег, что неудачные переговоры могут спровоцировать более ужасную войну
0
792
19:30 17.05.2025
Армия Израиля уничтожила двухкилометровый туннель и десятки радикалов на севере Газы
0
842
19:00 17.05.2025
США должны уйти с Ближнего Востока, считает лидер Ирана
0
845
18:30 17.05.2025
Трамп заявил, что намерен 19 мая обсудить с Путиным по телефону Украину и торговлю
0
828
18:00 17.05.2025
Путин поручил до 2030 года построить и запустить газопровод Волхов — Мурманск
0
731

Возврат к списку