• Языковая модель от Сбера и SberDevices стала лучшей в мире по пониманию текстов на русском языке
9 февраля 2023
Языковая модель от Сбера и SberDevices стала лучшей в мире по пониманию текстов на русском языке

Языковая модель от Сбера и SberDevices FRED-T5 (Full-scale Russian Enhanced Denoisers T5) стала лучшей в мире по пониманию текста в соответствии с результатами тестов главного русскоязычного бенчмарка для оценки больших текстовых моделей Russian SuperGLUE, уступая по точности только человеку. Она превзошла другие представленные на лидерборде модели для русского языка с существенным отрывом, несмотря на больший размер многих моделей-конкурентов.

Сбер давно работает с трансформерными моделями — ещё в 2019 году были обучены русскоязычные модели ruBERT и ruGPT-2, а в 2020 году при помощи суперкомпьютера Christofari была создана ruGPT-3. Эта модель существует в разных вариантах, и самый большой из них насчитывает 13 млрд параметров.

В отличие от моделей семейства GPT, состоящих только из декодирующих блоков трансформера, модель FRED-T5 содержит также кодирующие блоки, что позволяет ей гораздо эффективнее решать различные задачи в области обработки естественного языка.

Лидерборд Russian SuperGLUE (General Language Understanding Evaluation) — первый рейтинг нейросетей для русского языка. Место в рейтинге зависит от того, насколько качественно нейросеть выполняет задания на логику, здравый смысл, целеполагание и понимание смысла текста. Это открытый проект, которым пользуются исследователи данных, работающие с русскоязычными нейросетями.

Архитектурно модель FRED-T5 реализована на базе нейросети T5 и имеет 1,7 миллиарда параметров и 24 слоя. Модель обучалась на задачах восстановления случайно удалённых фрагментов текста на суперкомпьютере Christofari Neo. Это заняло шесть недель и потребовало использования обучающей выборки, содержавшей около 300 ГБ текста. В среде специалистов по автоматической обработке естественного языка эту задачу называют MoD (Mixture of Denoisers). Этот подход был предложен ранее командой из Google в модели UL2. Наши исследователи реализовали этот подход с рядом существенных изменений, основанных на результатах собственных исследований.

Ведущие исследовательские центры в области машинного обучения в последние годы создают всё более и более крупные нейронные языковые модели. Количество параметров самых больших монолитных нейросетей уже перевалило за 500 миллиардов и продолжает расти. Это беспрецедентные в истории человечества вычислительные проекты. Но прогресс заключается не только в создании всё более огромных нейросетевых монстров, но и в совершенствовании архитектур сетей и методов их обучения. Благодаря этому самые современные модели при том же количестве параметров интеллектуально превосходят своих предшественников. Хорошим примером этого эффекта является нейросеть FRED-T5, которая при сравнительно скромном по нынешним меркам числе параметров стала лидером в понимании русского языка.

Сергей Марков
директор Управления экспериментальных систем машинного обучения SberDevices

Подпишитесь на рассылку и первыми узнавайте о новостях SberDevices

Другие пресс-релизы
Бесплатно с мобильного на территории РФ.
Телефон для звонков из любой точки мира — по тарифам вашего оператора связи.
Общество с ограниченной ответственностью «СалютДевайсы». 119530, г. Москва, вн.тер.г. Муниципальный округ Очаково - Матвеевское, ш. Очаковское, д. 28, стр. 2, помещ. 8H/3 ОГРН 1197746592394. Отдел продаж: sales@sberdevices.ru