Яндекс представил свою диффузионную нейросеть YandexART

YandexART поможет создавать изображения и анимацию для бизнес-задач и творчества

Яндекс представил диффузионную нейросеть Yandex AI Rendering Technology (YandexART), которая создает изображения и анимацию по текстовым запросам пользователей, сообщает пресс-служба компании. Она поможет в бизнес-задачах и творчестве.

YandexART формирует изображения и анимацию методом каскадной диффузии. Как уточнили в компании, нейросеть сначала генерирует картинки и кадры в соответствии с запросом пользователя, а затем в несколько этапов увеличивает их разрешение и дополняет деталями. При этом по сравнению с предыдущим поколением диффузионной модели, которая использовалась в Шедевруме, YandexART создает более реалистичную и детализированную графику. По итогам внутренней оценки асессоров Яндекса ее результаты лучше в 60% случаев.

«Она понимает российский культурный код — знает известные места и города страны, выдающихся личностей разных эпох и знакомых с детства персонажей мультфильмов и сказок. Например, Чебурашку, богатырей и Бабу-Ягу. Нейросеть уже интегрирована в приложение Шедеврум и помогает иллюстрировать рекламные объявления в Яндекс Бизнесе, а вскоре появится в Клавиатуре и других сервисах компании», — говорится в сообщении.

Отмечается, что для улучшения качества работы нейросети разработчики увеличили размер обучающего набора данных в 1,5 раза — до 330 миллионов картинок с текстовым описанием. При этом для обучения YandexART используются эстетичные картинки, которые отбираются при помощи трех режимов фильтрации. Также нейросеть прорабатывает особенности лиц, глаз и рук.

Для улучшения качества генерации используется дообучение с подкреплением. Так, специалисты компании отсматривают сразу несколько сотен или тысяч созданных с помощью YandexART картинок и отмечают среди них наиболее удачные и неудачные. Это позволяет нейросети лучше понять, как именно лучше и правильнее создавать изображения.