Python/ django
@pythonl
Prism ML собрала тернарную версию Qwen3.8-27B
Bonsai 2 27B (https://prismml.com/news/bonsai-2-27b)
- сжатая Qwen3.8-27B, которая занимает 5,9 ГБ против примерно 54 ГБ у исходной модели в FP16 и сохраняет 98,2% её среднего результата на бенчмарках.
Prism ML - американский стартап из команды Калтеха, вышедший из стелс-ркжима весной 2026 года с анонсом (https://prismml.com/news/bonsai-8b)
первой версии моделей Bonsai.
Основатель и руководитель - профессор Калтеха Бабак Хассиби (https://www.ee.caltech.edu/people/hassibi),
специалист по теории сжатия. Среди инвесторов стартапа Cerberus, Google и Samsung.
Модель рассчитана на локальный запуск на потребительском оборудовании, имеет контекст в 262 тысячи токенов и может обрабатывать изображения и вызывать инструменты.
Целевые сценарии - агенты в редакторе кода, работа с компьютером, разбор документов без отправки их в облако.
Вес в тернарном квантовании хранится не числом, а одним из трёх знаков: минус, ноль или плюс. Сами величины задаются отдельно - веса разбиты на группы по 128, и у каждой группы один общий множитель в FP16.
В пересчёте на один вес это 1,72 бита против 16 у исходной модели. Перед сжатием веса каждой матрицы разворачивают фиксированным преобразованием Адамара, сам разворот вписан в веса, но при работе его нужно повторить на входных данных, иначе модель выдаёт бессмыслицу.
Распознавание картинок сжатие не проходило, лежит отдельным файлом на 0,6 ГБ и подгружается только тогда, когда на вход пришло изображение, так что текстовые задачи его не задействуют.
🟡В релизе три варианта
🟢GGUF в двух упаковках: (https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf)
PTQ1_0 (1,75 бита, 5,95 ГБ, быстрее на картах Ada и L4) и PQ2_0 (2,13 бита, 7,21 ГБ, быстрее на H100 и Blackwell);
🟢сборка под MLX (https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-mlx-2bit)
на 8,60 ГБ вместе со зрением;
🟠тестовая упаковка (https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf-dev)
Q2_0 для доработки ядер.
Для GGUF нужен специальный форк llama.cpp (https://github.com/PrismML-Eng/llama.cpp)
от Prism ML, для MLX - загрузчик из самого пакета.
🟡Бенчмарки
Замеры Prism ML считали через EvalScope и vLLM на H100, в режиме рассуждения, всего провели 14 тестов. Сравнивали со сборки той же Qwen3.8-27B в квантованиях UD-Q4_K_XL и IQ2_XXS.
Среднее по всем тестам: 84,78 против 86,32 у FP16 и 72,59 у IQ2_XXS. До четырёхбитной сборки не хватило 0,4 пункта при втрое меньшем размере.
AIME26: 95,83 против 94,58 у FP16 и 57,50 у IQ2_XXS.
LiveCodeBench: 90,07 против 90,05 и 56,40 соответственно.
BFCL v3 (вызов инструментов): 74,92 против 76,74 у FP16.
MMMU-Pro: 75,49 против 81,73.
Скорость генерации на RTX 5090 примерно 129 токенов в секунду, на ноутбучном M5 Pro - 28 токенов в секунду.
📌Лицензирование: Apache 2.0
🟡Блогпост (https://prismml.com/news/bonsai-2-27b)
🟡Веса (https://huggingface.co/collections/prism-ml/bonsai-2)
🟡Техотчет (https://github.com/PrismML-Eng/Bonsai-demo/blob/main/bonsai-2-27b-whitepaper.pdf)
🟡Демо на WebGPU (https://huggingface.co/spaces/webml-community/ternary-bonsai-2-webgpu-kernels)
🟡Сообщество в Discord (https://discord.gg/prismml)
🖥GitHub (https://github.com/PrismML-Eng/Bonsai-demo/)
#AI #ML #LLM #Bonsai #PrizmML
Если у вас установлено приложение,
вы можете сразу перейти в канал
вы можете сразу перейти в канал