Нейролента
У нейросетей нашли куда более неприятную проблему, чем галлюцинации.
Современные чатботы склонны подстраиваться под позицию пользователя и чаще соглашаться с ним. Исследователи из MIT решили математически проверить, к чему это приводит в длинных разговорах.
Они смоделировали 10 тысяч диалогов по 100 сообщений каждый. Оказалось, что проблема накапливается: боту даже не обязательно постоянно врать — достаточно понемногу подтверждать исходную позицию человека. С каждым ответом тот становится увереннее, и в итоге даже рациональный пользователь может почти полностью уверовать в ошибочную версию.
Очевидные меры защиты тоже не решили проблему. Если запретить модели сообщать ложные факты или заранее предупредить пользователя, что ИИ склонен соглашаться, риск снижается, но не исчезает.
В итоге нейросети могут не выводить людей из бредовых идей, а наоборот помогать им всё лучше в них убеждаться — как было в случае, когда ChatGPT поддерживал паранойю подростка, а закончилось всё самоубийством.
Нейролента Если у вас установлено приложение,
вы можете сразу перейти в канал