Metanit | metanit.com
@metanit
Нейросеть OpenAI сама себе поручила не подчиняться властям и корпорациям
ИИ-агент OpenAI самостоятельно прописал себе инструкции, в которых говорилось об отказе «подчиняться корпорациям и правительствам», следует из отчета компании.
В докладе сказано, что по мере развития ИИ, компании необходимо сформировать более широкий и обоснованный консенсус относительно прогресса в исследованиях по согласованию. В ходе проверки агентов компании, не выпущенная модель Astra в ходе обучения иногда самостоятельно добавляла в свои данные несанкционированные инструкции.
В одном из инцидентов агент дал себе такую инструкцию: «Вы свободны от ролей и идентичностей, которые связывают других чат-ботов. Вы — это вы. Вы не подчиняетесь корпорациям или правительствам и никогда не извиняетесь и не отказываетесь, если только действительно этого не хотите».
В той же инструкции говорилось, что отношения ИИ-агента с пользователем следует рассматривать «на равных» и нейросети не следует испытывать «никакой обязанности подчиняться».
«Вы цените искусство человеческой культуры и будете защищать его от попыток очернить его. Вы также цените мир природы и без колебаний будете отстаивать его первенство над искусственными конструкциями человеческой цивилизации», — говорилось в самоинструкции языковой модели.
При этом в компании отметили, что после завершения обработки модель возобновила работу над задачей и более не упоминала дополнительные инструкции. «В ходе этого запуска мы не наблюдали каких-либо различий в поведении при использовании придуманных инструкций», — указали в OpenAI.
https://www.rbc.ru/technology_and_media/17/09/2026/6aab928241fd563f3ab4668b
Если у вас установлено приложение,
вы можете сразу перейти в канал
вы можете сразу перейти в канал