Сбер представил новую версию модели Kandinsky

Иллюстрация пресс-службы Сбера

Сбер усовершенствовал свою нейросеть Kandinsky, которая создает изображения по текстовому описанию на русском и английском языках. Обновленная версия Kandinsky 3.1 дообучена на увеличенном датасете изображений, что позволило повысить качество генераций. Первым доступ к Kandinsky 3.1 получил ограниченный круг пользователей: художники, дизайнеры, блогеры.

«Сегодня ровно год, как вышла версия Kandinsky 2.1. За это время мы постоянно развивали нашу нейросеть, которая помогает людям создавать новые образы и дает абсолютно каждому феноменальные возможности для творчества, – рассказал первый заместитель председателя правления Сбербанка Александр Ведяхин. – По сравнению с предыдущей моделью Kandinsky 3.1 стал еще быстрее, удобнее и реалистичнее. Kandinsky 3.1 – это гибкий, многофункциональный и абсолютно бесплатный инструмент, который превратит любого человека в художника и творца. Скоро все желающие смогут протестировать новые возможности нейросети. Как и предыдущие версии, модель будет бесплатной и доступна на разных поверхностях».

Одной из ключевых особенностей версии стала более высокая скорость генерации картинок: время одной генерации сократилось почти в 10 раз, а разрешение генераций можно повысить до 4K. Также появилась возможность улучшения текстового запроса с помощью языковой модели. Пользователям снова будут доступны функции создания различных вариаций изображений, смешивание картинок и текста, создание стикерпаков и возможность вносить локальные изменения на картинке, не меняя всей композиции сцены (ControlNet).

Узнать технические детали о модели, подходах к обучению и посмотреть примеры генераций можно в статье на «Хабре» .

Также в ближайшее время появится новая модель Kandinsky Video 1.1 для генерации видео по текстовым описаниям. Команде разработчиков удалось существенно повысить качество генераций за счет увеличения объема обучающего датасета пар «текст-видео» и архитектурных улучшений модели. Внесенные изменения также позволили повысить разрешение видео в два раза по сравнению с Kandinsky Video 1.0.

Модель разработана командой Sber AI при партнерской поддержке ученых из Института искусственного интеллекта AIRI на объединенных датасетах Sber AI и компании SberDevices.