SberPortal объединяет в себе богатые мультимедийные возможности, продвинутую акустику, видеозвонки, множество полезных навыков ассистентов семейства Салют и способность управлять функциями умного дома.

Дизайн SberPortal раскрывает потенциал современных компонентов акустической системы от Harman/Kardon. В основе интегрированной аудиосистемы — уникальный внутренний дизайн камеры с 70-миллиметровым широкополосным динамиком и 84-миллиметровым пассивным излучателем и продвинутым цифровым процессором. Вместе они выдают глубокие басы, кристальные верха и насыщенную середину. При этом высокое качество звука равномерно во всей зоне вокруг устройства (360-градусов). 

У SberPortal большой 10-дюймовый Full HD экран и широкоугольная AI-камера. Благодаря этим элементам управление устройством мультимодально — помимо речи оно распознает жесты и управляется сенсорным интерфейсом. 

SberPortal позволяет слушать музыку, смотреть фильмы, сериалы и телеканалы в одном удобном интерфейсе, а также дает возможность делегировать различные рутинные задачи виртуальному ассистенту, понимающему естественную речь. Например, виртуальный ассистент поможет с записью в салон красоты или в поликлинику*, ответит на вопросы, покажет пошаговый видеорецепт, включит или выключит свет и электроприборы или сделает видеозвонок.

Интерфейсы и управление SberPortal 

Голосовое управление

Смарт-дисплей оснащен сложной микрофонной матрицей с шестью чувствительными микрофонами, которая разработана совместно с институтом Fraunhofer IIS. Благодаря этому решению устройство способно качественно распознавать голосовые команды пользователя даже в условиях постороннего шума, музыки или удаленности говорящего. 

Управление жестами

Интерфейс специально разработан для удобного взаимодействия с ассистентом. Также поддерживаются жесты для управления ассистентом и плеером воспроизведения медиаконтента. Жестами можно управлять и в специально разработанных для устройства играх. 

SberPortal понимает базовые жесты:

• жест V (латинская V, образованная указательным и средним пальцем) для активации ассистента;
• большой палец вверх или вниз, чтобы поставить “лайк” или “дизлайк” треку при прослушивании музыки;
• жест “Стоп” (открытая ладонь) для приостановки и продолжения воспроизведения;
• жест “Mute” (палец к губам) для отключения звука.

Управление жестами реализовано совместно с VisionLabs – компании-разработчика продуктов на базе компьютерного зрения. Использованная технология работает на основе быстрых оптимизированных нейронных сетей***. Для обеспечения защищенности данных и высокой скорости работы обработка видео потока происходит прямо на нейропроцессоре SberPortal – без отправки в облако или использования интернета.

Сенсорное управление

Привычное управление через тачскрин, также возможен вариант использования виртуального пульта для взаимодействия с устройством со смартфона через приложение Сбер Салют. 

Мультимедийные возможности

Фильмы и сериалы

Для просмотра десятков тысяч фильмов, сериалов и образовательных лекций SberPortal интегрирован с мультимедийным сервисом Okko. Последние новинки и премьеры, классика мирового кинематографа, актуальные сериалы, концерты, детский контент — вне зависимости от выбранной подписки (в подарок при покупке — пробный период с доступом к 50 000 фильмов и сериалов по подписке “Оптимум” от Okko), всегда найдется, что посмотреть. 

ТВ-каналы

“Из коробки” SberPortal сразу позволяет смотреть 185 цифровых телеканалов от сервиса “Смотрёшка”, достаточно лишь подключения к Wi-Fi. Даже после окончания пробного периода подписки, 20 телеканалов доступны всегда и бесплатно.

Видеошоппинг

Как и в другом устройстве линейки Sber, SberBox, в смарт-дисплее реализована возможность совершать покупки во время просмотра фильмов — технологии искусственного интеллекта распознают, например, одежду героев фильма и находят оригинал или альтернативу в онлайн-магазинах партнеров. В настоящий момент партнерами навыка являются Ozon и Lamoda. Также можно приобрести сувениры с символикой любимых фильмов, не отвлекаясь от просмотра.

Видеозвонки

Камера SberPortal поддерживает разрешение 4K и оснащена широкоугольной оптикой, благодаря чему говорящий всегда остается в центре кадра во время видеозвонка, даже перемещаясь по комнате. На данный момент поддерживается как связь между двумя устройствами на основе программного обеспечения собственной разработки, так и звонки на мобильные устройства. 

Музыка

Доступ к музыке осуществляется через сервис СберЗвук — это стриминговый аудиосервис, который подбирает музыку к каждому моменту жизни. Понравившиеся композиции можно добавлять в персональную коллекцию и слушать её с разных устройств. В каталоге СберЗвука 40 миллионов композиций, подборок по жанрам и настроениям. Слушайте их с подпиской без ограничений и рекламы. 

Виртуальный ассистент поможет: 

• Искать нужную песню, исполнителя или альбом
• Управлять проигрыванием голосом, жестами и с помощью тач-интерфейса
• Ставить “лайки” и “дизлайки”, для лучших рекомендаций в будущем

Также Салют может показать текст песни во время воспроизведения. Для этого достаточно сказать: «Салют, покажи текст» и на экране синхронно с воспроизведением покажутся слова, для популярных треков доступен перевод. 

Чтобы раскрыть весь потенциал акустической системы SberPortal, SberDevices совместно со СберЗвук применили технологию, которая передает на устройство музыку без потери качества. 

Игры и edutainment

На SberPortal будет доступно множество игр и образовательных приложений, в том числе игры из каталога SberBox. Однако отличительной чертой смарт-дисплея станут приложения на основе управления жестами. Например, игра собственной разработки Beat Dancer.

Модуль распознавания объектов трансформирует SberPortal и в образовательный инструмент, а специальное закрепленное зеркальце над камерой позволит распознавать объекты, расположенные перед устройством. Например, верно выложенное ребенком слово из карточек с буквами английского алфавита преобразуется в анимационный игровой элемент на экране.

SDK для работы с камерой SberPortal и реализации игровых AR-механик разработала Лаборатория AR/VR Сбербанка.

Безопасность и приватность 

В SberPortal виртуальные ассистенты активируются приветствием “Салют!” или жестом V. Микрофоны можно отключить аппаратно — для этого предусмотрена кнопка Mute. 

Вся обработка видеопотока (распознавание жестов, автофокус во время видеозвонка, распознавание членов семьи по лицу) производится на устройстве, без передачи данных на облако. В комплекте есть магнитная крышка на камеру. 

Виртуальный ассистент семейства Салют на борту

Семейство Салют — это сразу три неповторимых характера: интеллигентный Сбер, жизнерадостная Джой и педантичная Афина. Пользователь сам выбирает, с кем ему комфортнее общаться.

Встроенные виртуальные ассистенты семейства Салют могут:

• найти справочную информацию (общего характера, или, например, подробности о контенте);
• включить фильм или музыку;
• найти рецепт и помочь с готовкой;
• заказать и оплатить снеки**;
• записать пользователя в салон красоты или к врачу *;
• поставить будильник, таймер;
• подсказать точное время в разных городах;
• инициировать видеозвонок абоненту из списка контактов, в том числе с использованием видеосвязи;
• рассказать о погоде;
• поддержать разговор и т.д. 

Персонализация

Встроенная камера позволяет различать пользователей, например, членов семьи для выдачи персонализированной информации и рекомендаций (музыка, фильмы, новости, календарь событий), а также подтверждение оплат.

SberPortal поступит в продажу ближе к концу 2020 года. Для использования устройства не требуется быть клиентом Сбербанка или компаний экосистемы, однако максимальные возможности ассистентов Салют на борту реализуются именно в рамках интеграций с компаниями экосистемы Сбер. Для настройки устройства необходимо приложение Сбер Салют.

Подробнее на sber.ru/portal

*на 24.09.2020 функция “Дуэт” реализована на территории Москвы, Московской области, Санкт-Петербурга и Ленинградской области. О дальнейшем расширении географии работы сервиса SberDevices сообщит дополнительно.

** в рамках интеграции с сервисом быстрой доставки продуктов “Самокат” и на территории, обслуживаемой сервисом. Для активации навыка достаточно сказать: “Салют, хочу попкорн”.

***Точность алгоритмов компании подтверждена международными независимыми тестированиями Национального института стандартов и технологий США (NIST).