СберСтартап
Не переплачивайте за интеллект, даже если он супер ⭐️
Не всегда нужно использовать самую мощную модель. Например, для повторяющихся и рутинных задач может подойти более дешёвая.
Забирайте идеи, как проверить, какая модель справляется, у Shopify и Cursor.
Шаг 1. Найдите, где переплачиваете
Ищите повторяющиеся задачи, которые не требуют сложных рассуждений.
➡️ Cursor понял, что сделать коммит и найти причину падения приложения — задачи разного уровня. Первую нет смысла отдавать дорогой модели.
Шаг 2. Решите, как мерить качество
Чтобы сравнить модели, нужны критерии хорошего ответа.
➡️ Shopify составил вручную 300 эталонных примеров и проверял три вещи: делает ли автоматизация то, что нужно, нет ли в ней технических ошибок и сколько времени уходит на ответ.
Шаг 3. Замените или разделите
Заменить подходит для узкой объёмной задачи, разделить — для задач разной сложности.
➡️ Shopify дообучил небольшую модель на своих данных. Cursor отдаёт простые запросы дешёвой модели, а дорогую подключает, только если почти уверен, что она справится заметно лучше.
Шаг 4. Проверьте на живых пользователях
Тесты показывают только то, что вы заранее предусмотрели.
➡️ На тестах модель Shopify не уступала дорогой, но на 1% реальных пользователей отстала на 35%. Команда нашла слабые места и закрыла разрыв за две недели.
Мнение Алексея Бирюкова, CEO Андата AI:
Чтобы определять, какая модель справляется, у нас есть собственная инфраструктура — харнес.
Харнес имеет доступ сразу к большому количеству моделей через посредника — встроенный LLM-роутер, к которому подключены все эти подписки [Qwen, Kimi, MiniMax, Nano Banana, GPT, Claude, YandexGPT и GigaChat].
Есть модель-исполнитель, есть модель-арбитр, которая оценивает результаты работы других моделей. Для решения задачи мы пробуем использовать несколько моделей, а потом с помощью арбитра принимаем решение, какая качественнее. Считаем входящие, исходящие и кешированные токены и в итоге смотрим на стоимость генерации.
Главное правило: не менять модель на глаз — сначала научитесь измерять качество.
Отмечайтесь в реакциях: используете ли вы самые мощные модели?
👍 — да, использую, только для сложных задач
❤️ — да, не знал, что можно перейти на попроще
⚡️— не использую Если у вас установлено приложение,
вы можете сразу перейти в канал