Метод МФТИ снизит затраты на дообучение языковых моделей

Российские исследователи из МФТИ разработали новый метод дообучения больших языковых моделей, который автоматически определяет наиболее важные слои нейросети и выделяет больше ресурсов для их настройки. Это позволит повысить качество моделей без дополнительных затрат, как сообщила пресс-служба МФТИ. Пишет ТАСС.

Ученые отметили, что традиционно разработчики редко полностью переобучают большие языковые модели, так как это требует значительных временных и ресурсных затрат. Вместо этого они используют методы параметрически эффективного дообучения с помощью небольших модулей, называемых адаптерами.

Ранее размеры этих модулей были одинаковыми для всех слоев нейросети, однако разные слои по-разному влияют на результаты. Некоторые слои требуют больше ресурсов для освоения новой задачи, в то время как другим достаточно меньшего объема. Исследователи всесторонне изучили эти различия и предложили метод, который позволяет адаптировать размеры адаптеров в зависимости от начального обучения.

Научный руководитель лаборатории BRAIn Lab Александр Безносиков пояснил, что вместо назначения одинаковых адаптеров всем слоям, их метод позволяет модели определить, где ограниченный бюджет параметров будет наиболее эффективным. Особенно заметный эффект наблюдается при небольших рангах, когда каждый обучаемый параметр имеет значение.

Эффективность нового подхода была проверена на четырех различных языковых моделях, адаптированных для решения 12 классов задач, включая анализ эмоциональной окраски текста, ответы на вопросы, математические рассуждения и автоматическое реферирование. Во всех случаях новая методика повысила качество работы ИИ и продемонстрировала устойчивость к выбору настроек, что позволяет применять этот подход в различных условиях, подытожили ученые.