Homo Digitalis
Почему в обучающих примерах неизбежно есть ошибки?
Модель учится на огромной куче текстов: сайты, книги, форумы, статьи. Их писали люди, а люди ошибаются, поэтому в куче всегда найдутся:
▫️обычные ошибки и опечатки: кто-то перепутал дату, имя, цифру;
устаревшие сведения: что было правдой в 2010 году, сегодня может быть неправдой;
▫️противоречия: на одном сайте одно, на другом другое;
▫️шутки, сарказм, художественные выдумки: текст из романа или анекдот выглядит как утверждение, но правдой не является;
▫️полуправда: упрощения, слухи, искажённые пересказы.
Проверить вручную миллиарды страниц невозможно. Поэтому и «неизбежно».
Даже если бы все тексты были стопроцентной правдой, модель всё равно ошибалась бы
Почему ошибки будут даже при идеальных данных?
Причин две.
1. У некоторых фактов нет закономерности
Есть два вида знаний.
Знания с закономерностью. Например, правила грамматики или правило «после точки — заглавная буква». Модель видит миллионы примеров, улавливает правило и дальше не ошибается.
Случайные факты без закономерности. Например, день рождения малоизвестного человека. Из других примеров его не вывести: дата могла быть любой. Если модель встретила этот факт в текстах всего один раз или не встретила вовсе, запомнить его надёжно она не может.
Факт, упомянутый единожды, модель не отличит от правдоподобной выдумки.
2. Отличать правду от выдумки легче, чем самому выдавать правду
Здесь снова математика.
Когда модель сама пишет правильный ответ она ошибается в два раз а больше, чем если бы она просто выбирала между "это утверждение верно / это утверждение не верно, то есть раскладывала по кучкам.
Случайные и мелкие факты превращаются для модели в ошибки, соответственно они неизбежно попадают в кучку. И соответственно, если модель выбрала кучку с ошибкой, которую она не заметила , то и в написании правильного ответа тоже будет ошибка.
Тогда возникает вопрос, а как сделать так, чтоб эти ошибки и галлюцинации минимизировать?
Об этом в других постах, но не в следующем Если у вас установлено приложение,
вы можете сразу перейти в канал