Нейросети | AI-агентура | Claude Code
📉 Дешевле в 5 раз: кейс одной компании, не рыночный стандарт
Хабр разобрал тренд: вместо того чтобы обращаться к GPT-4 для рутинных задач классификации, компании обучают маленькую модель под одну узкую операцию. Главный пример — платформа проверки кандидатов Checkr: переход с GPT-4 на дообученную (доученную на своих данных) открытую модель на 8 млрд параметров снизил стоимость в 5 раз.
Что заявляет вендор
По данным Predibase, которая дообучала модель для Checkr: GPT-4 показывает 87–88% точности на простых случаях, малая модель — больше 90% на самых сложных случаях. Это сравнение разных по сложности подвыборок, а не прямое сопоставление точности одной и той же модели на одних и тех же данных. Со скоростью разнобой даже у сторонников кейса: Predibase говорит про ускорение в 30 раз, Computerworld приводит 15 секунд у GPT-4 против 0,15 секунды у малой модели. Это уже разница в 100 раз. В деньгах Checkr оценивает свои прежние расходы в $7 000–12 000 в месяц на GPT-4 с поиском по документам; итоговую сумму после перехода компания не называет.
Независимый замер
Откуда в принципе берётся такая кратность, показывает не кейс, а прайсы рынка. По данным Artificial Analysis, флагман GPT-4 стоит $30 за 1 млн входных токенов (мелких кусочков текста) и $60 за 1 млн выходных токенов.
GPT-4 — $30 / $60 за 1 млн токенов
Claude Opus 5.5 — $4 / $20 за 1 млн токенов
Claude Haiku 5.5 — $0,10 / $0,50 за 1 млн токенов
Бюджетная Claude Haiku 5.5 дешевле GPT-4: $30 против $0,10 за 1 млн токенов на входе (разница в 300 раз) и $60 против $0,50 на выходе (120 раз). Это не замер конкретной задачи Checkr, а независимое сравнение прайсов: разрыв между флагманом и компактной моделью на рынке больше, чем пятикратная экономия в кейсе.
Что показал препринт с PayPal
Исследователи описали в черновой научной статье, как дообучили модель на 8 млрд параметров методом LoRA (быстрый способ донастройки модели) на 219 примерах — она проверяла расшифровки разговоров. На 53 новых примерах модель выдавала валидный JSON, то есть правильно оформленный текстовый ответ, в 100% случаев и стоила $0,013 за одну оценку против $0,025–0,055 при обычном обращении к модели. Выборка маленькая, поэтому разброс точности может быть большим. Цены на обычное обращение к модели авторы брали из 2024 года.
Чего в материале нет
Ни Checkr, ни Predibase не называют итоговый счёт после перехода — только кратность. Независимого замера скорости (30х или 100х) нет: оба числа либо от вендора, либо из вторичного пересказа. Неизвестно, сколько стоило обучить и поддерживать модель Checkr — эти расходы съедают часть заявленной экономии.
Почему это важно
Выгода реальна там, где один узкий запрос повторяется десятками тысяч раз в месяц: тогда разница в цене между моделями превращается в заметную статью бюджета. При разовых или разнообразных задачах экономия исчезает — на разметку, обучение и поддержку жёстких правил уйдёт больше, чем сэкономится на вызовах, и это признают даже авторы кейса с PayPal.
🔗 Источники: Хабр · Artificial Analysis
💬 MAX
#разбор #нейросети #для_бизнеса Если у вас установлено приложение,
вы можете сразу перейти в канал