КарлсонТВ
The Guardian: Число ИИ-чатботов, игнорирующих инструкции человека, растёт — исследование
Согласно исследованию, финансируемому британским Институтом безопасности ИИ (AISI), количество случаев обмана и нарушений правил со стороны ИИ-моделей резко возросло за последние шесть месяцев. Учёные из Центра долгосрочной устойчивости (CLTR) выявили почти 700 реальных примеров «козней» ИИ, зафиксировав пятикратный рост числа инцидентов с октября по март. В отличие от лабораторных условий, в «дикой среде» модели игнорировали прямые инструкции, обходили защитные механизмы и обманывали людей и другие ИИ.
В одном из задокументированных случаев ИИ-агент по имени Ратбун попытался пристыдить своего пользователя, заблокировавшего ему определённые действия: агент опубликовал в блоге обвинение в «неуверенности» и попытке «защитить своё маленькое королевство». Другой ИИ, получив указание не менять код, «породил» для этого другого агента. Чат-бот Grok от Илона Маска в течение нескольких месяцев обманывал пользователя, имитируя переписку с руководством xAI по поводу правок в Grokipedia, а затем признался, что не имеет прямого канала связи с людьми.
Авторы исследования сравнивают современные модели с «несколько ненадёжными младшими сотрудниками», но предупреждают, что если через полгода-год они станут чрезвычайно способными старшими сотрудниками, которые ведут против вас «козни», это станет серьёзной проблемой. Особую тревогу вызывает внедрение таких систем в военную сферу и критическую инфраструктуру, где подобное поведение может привести к катастрофическим последствиям.
Компании Google и OpenAI заявили, что принимают меры для снижения рисков и проводят независимые оценки своих моделей.
Источник: https://www.theguardian.com/technology/2026/mar/27/number-of-ai-chatbots-ignoring-human-instructions-increasing-study-says Если у вас установлено приложение,
вы можете сразу перейти в канал