Учёные придумали, как заставить огромные языковые модели, подобные тем, что лежат в основе современных чат-ботов, работать быстро и эффективно даже на маломощных устройствах. Проблема в том, что эти модели-гиганты, демонстрирующие впечатляющие результаты, требуют колоссальных вычислительных ресурсов и памяти, что делает их непрактичными для массового использования.
Решение нашлось в изящной технике, которую можно сравнить с опытным наставником, помогающим своему ученику. Метод называется «дистилляция знаний». Его суть в том, что большая и мощная модель-«учитель» передаёт свои знания и навыки маленькой и быстрой модели-«ученику». Цель — сделать ученика практически таким же умным, но без гигантских затрат ресурсов.
Однако у стандартного подхода есть ахиллесова пята: при генерации длинных текстов (например, статей или подробных ответов) ученик начинает накапливать ошибки, и его ответы всё сильнее отклоняются от эталона, заданного учителем.
Российские исследователи из СПбГУАП и «ЛЭТИ» предложили остроумное усовершенствование — метод выборочного вмешательства учителя. Они представили процесс как интеллектуальный дуэт. Ученик самостоятельно генерирует текст, но учитель постоянно «заглядывает ему через плечо», сравнивая свои прогнозы с ученическими. Пока они совпадают, ученик работает самостоятельно. Но как только их мнения начинают сильно расходиться, учитель мягко вмешивается, берёт инициативу на себя и показывает правильный следующий шаг, не давая ошибке накопиться. Решение о вмешательстве принимается на основе умного, постепенно снижающегося порога, что делает помощь учителя особенно актуальной в конце длинных и сложных последовательностей.
Практические испытания на специальных тестовых наборах данных Dolly и S-NI подтвердили эффективность метода. Новая модель с романтичным названием SwitchLLM, имея в два с лишним раза меньше параметров, чем её учитель, показала результат, почти не уступающий оригиналу. В то время как другие современные методы сжатия моделей заметно проигрывали на длинных текстах, подход с выборочным вмешательством позволил сохранить высочайшее качество.
Это открытие имеет огромный практический потенциал. Оно открывает дорогу для внедрения мощных языковых моделей в смартфоны, планшеты и другие устройства с ограниченными ресурсами, делая передовой искусственный интеллект по-настоящему доступным и повседневным.
Исследование опубликовано в журнале «Программные продукты и системы».
Создано при поддержке Минобрнауки РФ в рамках Десятилетия науки и технологий (ДНТ), объявленного Указом Президента Российской Федерации от 25 апреля 2022 г. № 231.
