Константин Шукалов
Модель на 27 млрд параметров можно теперь запустить локально на домашнем компе благодаря PrismML, которые выпустили Bonsai 2 27B - сверхсжатую версию Qwen 3.8 27B 🙈
Вместо 54 гигов модель теперь занимает 5.9 Гб и по заявлению разрабов, несмотря на сжатие модель сохранила 98% среднего результата оригинала на бенчах 🌝
Объясню, что это значит в моих реалиях.
У нас есть очень чувствительная информация, которую не очень хочется отдавать Антропику, OpenAI или любой другой подобной конторе потому, что нет гарантии, что они в эти данные не влезут с той стороны.
Мы думаем над тем, чтобы взять несколько Mac Studio и развернуть на этом железе большую локальную нейронку, данные из которой никуда дальше этих Mac Studio не утекут, но это дорого и такой подход будет стоить где-то 3-4 млн рублей 🥲
С описанным выше методом нейронку можно будет развернуть на гораздо более простом железе и через какое-то время собственное решение сможет позволить для себя уже почти любой бизнес.
Надо будет просто знать, что ты делаешь или нанять специальных людей, которые тебе все развернут и настроят 👨🏿💻
ИИ-агенты без оплаты дорогих токенов, чат, который отвечает тебе по существу и в который не стремно отдавать корпоративные данные, а еще и доступ без ускорителя интернета 🌝
Кайф же 🧙🏿♂️
Вангую появление сервисных компаний, которые будут делать такие решения и заниматься их поддержкой после развертывания 👾
Звучит как идея для стартапа 😁 Если у вас установлено приложение,
вы можете сразу перейти в канал