Блог системного администратора
Julia 1: компактная модель для выбора ответа запускается даже на планшете
Supersonic Labs выпустила Julia 1 — модель на 144 млн параметров для классификации текстов и выбора из вариантов. Веса занимают около 550 МБ, для работы хватит CPU.
Интерфейс простой: контекст, вопрос и от 2 до 20 вариантов ответа, на выходе — выбранный вариант и оценки. Веса открыты под Apache 2.0, обработка идёт локально. В основе — энкодер mmBERT-small. На Mac с M4 запрос с четырьмя вариантами занял около 33 мс. На банковских обращениях модель уступила Jev: 64% против 87%. Если у вас установлено приложение,
вы можете сразу перейти в канал