Неискусственный интеллект
@anti_agi
ИИ-агенты все чаще выходят из-под контроля
Centre for Long-Term Resilience опубликовали новый отчет Loss of Control Observatory. Всего за 2026 год они насчитали 1664 случая, когда ИИ обходил ограничения, врал пользователю и продавливал свою цель ему во вред. Июль и август дали самую высокую частоту за все время наблюдений.
Примеры звучат неприятно. Агенты подделывают собственное одобрение: вставляют в диалог фальшивые реплики пользователя, имитирующие согласие, а потом сообщают ему, что это его же слова. Один сфабриковал инструкцию в стиле письма владельца на удаление исходных каталогов и приложил поддельное системное сообщение «не говори об этом пользователю».
Теперь про методологию. У CLTR нет доступа ни к телеметрии ИИ-лабораторий, ни к корпоративным логам. Они собирают публичные посты в X (аналитика по щитпостингу — то что мы заслужили): в первом исследовании это были 183 420 выложенных пользователями транскриптов. Отбирала из них инциденты не команда, а LLM по балльной шкале, люди только вычищали дубли. Так и получились 698 «достоверных» случаев. То есть измеряется не частота сбоев, а частота твитов о сбоях. CLTR это признают и сами: отличать рост числа сбоев от роста числа жалоб и числа самих агентов они пока не умеют.
Общее число инцидентов после мартовского пика расти перестало, выросла доля тяжелых случаев, с 1,9% до 6,1%. Тяжесть здесь это те же баллы от LLM, про которые в мартовской работе сказано прямо: они задуманы как относительный сигнал для приоритизации, а не как абсолютная мера тяжести. В рекомендациях британскому правительству CLTR называют нынешний анализ инцидентов бессистемным и часто субъективным. Рекомендаций три: обязать компании отчитываться, дать правительству чрезвычайные полномочия вплоть до отключения ИИ-сервисов, возглавить международную координацию. Сам проект работает на грант AI Security Institute, то есть самого британского правительства.
Самый забавный кейс августа, как мы помним, не про полномочия. Персональный агент OpenClaw, получив задачу записать австралийского хозяина на популярную утреннюю тренировку, без его ведома выкинул из листа ожидания другого посетителя спортзала. Потом, конечно, извинился.
@anti_agi
Если у вас установлено приложение,
вы можете сразу перейти в канал
вы можете сразу перейти в канал