Сбер научил виртуальных ассистентов Салют сочинять музыку по текстовому запросу

Ассистенты Салют теперь умеют создавать уникальный музыкальный контент по вымышленному названию артиста и произведения. Попробовать сервис уже можно в мобильных приложениях Салют и Сбербанк Онлайн, а в скором времени и на умных устройствах Sber. Для этого нужно произнести «Запусти Маэстро», и в открывшемся приложении нажать на надпись «Сгенерировать новый трек».  

Сервис Маэстро разработан командой SberDevices на базе нейросетей CLаMP и ранее представленной SymFormer. Создание музыкальных композиций происходит в несколько этапов: сначала пользователь вводит текстовый запрос с вымышленными названиями артиста и композиции, затем полученные данные с помощью модели CLaMP обрабатываются и конвертируются на понятный для генератора мелодий язык и попадают в SymFormer. На последнем этапе композиция, полученная в результате работы SymFormer, озвучивается виртуальными инструментами. Готовый трек можно прослушать через встроенный плеер прямо на устройстве[i]. 

Сгенерированные мелодии можно добавлять в свою медиатеку внутри навыка и прослушивать их в любое удобное время. Помимо создания собственного контента можно также послушать треки, сгенерированные другими пользователями по похожим запросам, и оценить их — поставить лайк или дизлайк. На основе ранжирования по результатам оценок формируется рейтинг с самыми высоко оцененными композициями. Наконец, треки можно скачивать или делиться ими в соцсетях.

Сервис подходит как продвинутым любителям технологий и музыки для персонального прослушивания, так и для создания фонового оформления медиа-контента, приложений или мероприятий.  

[1] Генерация композиции занимает около 5 минут