Пинзес AI
@channel_pinzesai
COUNT адаптирует языковую модель к новой теме без дообучения
COUNT заранее считает частоты последовательностей токенов в корпусе и хранит их на обычной памяти компьютера. При работе модели эти частоты помогают выбирать подходящие представления следующих токенов — без добавления обучаемых параметров.
Авторы препринта сообщают, что при одинаковом вычислительном бюджете COUNT улучшил проверочную функцию потерь для моделей на 1 млрд параметров настолько, насколько её улучшило бы увеличение вычислений на 57%.
Для адаптации к новой задаче авторы предлагают подменять таблицу частот на данные из нужной области — без дополнительного обучения модели.
Подход может упростить адаптацию модели к специальной тематике: вместо нового обучения можно подготовить частоты последовательностей из профильного корпуса.
Это препринт: результаты и оценка эквивалентности дополнительным вычислениям заявлены авторами.
Артём · Пинзес AI
Если у вас установлено приложение,
вы можете сразу перейти в канал
вы можете сразу перейти в канал