Webiomed
🔖Вышла наша научная статья в журнале "Организация и цифровизация здравоохранения", в которой сравнивались временные и вычислительные затраты на разработку и эксплуатацию диагностических моделей на основе LLM и специализированных нейросетевых классификаторов (ML), с точки зрения экономической целесообразности применения LLM на этапе создания прототипа.
✅ Результаты исследования показали, что открытые LLM выступают эффективным инструментом быстрого прототипирования при создании диагностических СППВР, позволяя в сжатые сроки и с минимальными начальными вложениями оценить жизнеспособность сервиса.
На выборке из 171 клинического случая с консенсусной разметкой, выполненной тремя врачами-экспертами, было проведено сравнение четырех квантованных LLM (DeepSeek-R17B и 14B, YandexGPT‑5-Lite‑8B, GigaChat‑20B) и двух версий ML-модели Webiomed SC (обученных на 1 млн. и 18 млн. записей). Оценивались точность по метрике Top‑3, время инференса, а также затраты человеко-часов и вычислительных ресурсов на подготовку и эксплуатацию моделей.
Наилучшая из протестированных LLM (YandexGPT‑8B) достигла точности 67% по метрике Top‑3, что сопоставимо с ML-моделью, обученной на 1 млн. записей (67%), но уступает версии, обученной на 18 млн. записей (78%). При этом трудоемкость настройки LLM составила 8 человеко-часов против 340 человеко-часов для базовой ML-модели. Стоимость вычислительных ресурсов на этапе настройки LLM оказалась в 14 раз ниже затрат на обучение ML-модели на большом корпусе. Однако эксплуатационные расходы на LLM значительно превышают стоимость обслуживания ML-моделей.
Скачать статью можно здесь: https://webiomed.ru/publikacii/ispolzovanie-otkrytykh-bolshikh-iazykovykh-modelei/ Если у вас установлено приложение,
вы можете сразу перейти в канал