В рамках проходящей 23–24 ноября конференции по искусственному интеллекту AI Journey команда SberDevices представила новый инструмент Molotilka (ML Toolkit for Continuous Learning) для работы с пайплайнами больших языковых моделей. В нем реализована автоматизация постоянного дообучения с минимальным забыванием старых знаний. Сервис для использования постоянно дообучаемых при помощи Molotilka больших нейросетевых моделей доступен в Cloud ML Space — платформе для ML-разработки полного цикла.

В современном мире поток знаний непрерывен, каждый день происходит множество событий. При обучении большой нейросетевой языковой модели обычно используется срез данных, доступных в интернете или других источниках на текущий момент. Таким образом, модель не будет обладать знаниями о том, что произошло в этом году, если обучили ее в прошлом. Для этого была создана Molotilka, которая обладает актуальными знаниями в каждый момент времени и при этом помнит и старые знания.

В первой версии фреймворка была использована языковая модель ruGPT-3, которую команда SberDevices обучила ранее на большом корпусе текстов из различных источников: книги, интернет и т.д. На основе скачанных данных из нескольких новостных источников регулярно формировался небольшой датасет, в который добавлялось немного случайных данных из большого датасета так, чтобы соотношение старых и новых данных соответствовало заданной пропорции. После чего ruGPT-3 дообучалась на смешанном наборе данных с применением современных методов борьбы с катастрофическим забыванием. В ходе этого эксперимента применялись разные подходы, и в результате был выбран вариант на основе adapters — с добавлением специальных слоев и их последующим дообучением.

Так появился инструмент, названный Molotilka, который позволяет проводить непрерывное обучение языковых моделей с повторением некоторых заранее заданных действий. Например, таких как скачивание актуальных данных из новостных источников, их предобработка, создание датасета для дообучения языковой модели и ее оценка на разных задачах.

ML Toolkit for Continuous Learning может применяться в таких областях:

— стандартное применение ruGPT-3 как языковой модели, обладающей актуальными знаниями о мире;

— задание кастомизированных задач с постоянным дообучением модели на новых данных: классификация, извлечение информации, диалоговые системы и пр.

Теперь при помощи специального сервиса пользователи Cloud ML Space получили через API доступ к наиболее актуальной версии ruGPT-3, которая всегда в курсе свежих новостей, трендов и мемов, а также к предыдущим версиям модели. Пример использований API размещён в открытом доступе. В скором времени к числу постоянно дообучаемых моделей добавятся и другие нейросети Сбера.