Среди важных обновлений также появилось управление синтезом речи и анимация мимики под собственную аудиозапись.

Платформа Visper, позволяющая генерировать визуальный контент с помощью цифровых персонажей, открывает своим пользователям новые возможности для создания видеороликов и презентаций, которые сделают их по-настоящему уникальными. В обновлении появились два новых образа — первый на платформе женский анимационный персонаж Матильда и реалистичный мужской персонаж Пётр. Также без специальных инструментов теперь можно расставлять паузы и ударения в речи аватаров и загружать собственный аудиофайл с текстом, под который подстроится мимика персонажа. А оживить ролик можно, загрузив фоновую музыку.

Новые персонажи

На платформе появилась возможность создавать видео с анимационными аватарами, первым из которых стала Матильда, разработанная командой Visper совместно со Sber AR/VR Lab. При использовании этого образа уже доступны все те же функции, что и у реалистичных персонажей: зачитывание текста на русском языке, добавление собственной аудиодорожки, выбор голосовой модели (нейтральная, приветливая или деловая). Также к пяти женским реалистичным образам добавился и мужской персонаж, для которого доступны нейтральная и добрая модели звучания.

Эмоции, музыка и анимация собственной звуковой дорожки

Ещё одним нововведением стала функция разметки текста на монтажном столе, который зачитывает персонаж. Теперь можно сделать речь аватара более эмоциональной, изменив её темп, добавив паузы и ударения. Делается это очень просто: нужно лишь поставить соответствующие метки в текст — и речь аватара зазвучит по-новому.

Кроме возможности управлять синтезом речи, появилась опция загружать свой аудиофайл с текстом, который будет озвучивать персонаж. Программа сама проанализирует запись и синхронизирует мимику, чтобы она выглядела максимально естественной. В пользовательских записях часто есть посторонние шумы, которые автоматически подавляются, что значительно упрощает работу над роликом и улучшает качество сгенерированного материала. Такая функция к тому же даёт возможность использовать дикторскую речь и записи на других языках.

Также теперь в видео можно даже загружать фоновую музыку, которая будет проигрываться на протяжении всего ролика на громкости 10% от звучания текста персонажа. Эта опция позволяет сделать видео уникальными, более живыми и динамичными, задать нужное настроение. Для того чтобы можно было быстро попробовать, как это работает, на платформе уже есть три трека, созданных при помощи нейронных сетей глубокого обучения, разработанных в SberDevices.