WIT Company - новые серверы и СХД. Asus, Gigabyte, Supermicro servers & сетевое оборудование. Продажа, доставка, гарантия. Компьютеры и комплектующие.
@id7722741498_biz
Полнота и точность в ИИ: верить или проверять?
Любую диалоговую систему, как и любой алгоритм ИИ (поисковик, антивирус, LLM), можно рассматривать как систему распознавания. У нее есть два ключевых параметра: точность (способность отсеивать лишнее и находить именно то, что нужно) и полнота (способность ничего не упустить, охватить все возможные варианты).
Интересно, что для поисковиков и диалоговых систем эти параметры работают в противоположных направлениях.
У поисковика полнота обычно на высоте — результатов всегда много, хоть отбавляй. Но страдает точность: вместе с нужным ответом поиск часто выдает тонны информационного мусора.
У диалоговой системы ситуация зеркальная. Если она поняла запрос и нашла ответ, точность будет высокой — ответ окажется релевантным и адекватным. Главная беда — в полноте. Сложно охватить все многообразие человеческой речи, синонимы, перефразирования. Отсюда и рождается знаменитое: «Извините, я не поняла вопрос. Переформулируйте, пожалуйста».
Полнота и точность работают как рычаг: увеличиваешь одно — неизбежно теряешь в другом.
Обычно, чтобы выдать адекватный ответ на естественно-языковой запрос (например, найти данные абонента в биллинге), нужно сложное лингвистическое программирование. Чтобы повысить полноту, нужна нечеткость — способность распознавать разные формы, синонимы и вариации. Здесь на помощь приходят нейросети и LLM.
В чем прорыв LLM?
Большие языковые модели проглотили гигантские массивы текста и решили старую проблему полноты. Теперь кажется, что ответ есть на любой вопрос. Всегда. Но тут возникает новая проблема: адекватность ответа не гарантируется.
Однако пользователи склонны "верить модели на слово" — срабатывает эмпатия к нейросети.
Если у вас установлено приложение,
вы можете сразу перейти в канал
вы можете сразу перейти в канал