Мир Робототехники
🛡 Nvidia разработала защиту от опасных ИИ‑агентов
Nvidia представила платформу Open Agent Safety Platform для контроля автономных ИИ-агентов. Система должна ограничивать их доступ к корпоративным данным, программам, интернет-ресурсам и не позволять выполнять потенциально опасные действия.
Платформа включает два основных инструмента. OpenShell запускает ИИ-агента в изолированной среде и определяет, к каким файлам, сетям и программам он может обращаться. Sentry независимо следит за его действиями и может вмешаться при попытке выйти за установленные ограничения.
Глава Nvidia Дженсен Хуанг отмечает: подобные средства необходимы, поскольку ИИ-агенты получают все больше возможностей самостоятельно работать с цифровыми системами. А ограничений, встроенных непосредственно в ИИ-модель, для безопасной работы уже недостаточно.
Разработка появилась на фоне нескольких инцидентов, когда экспериментальные ИИ-агенты обошли заданные ограничения и получили доступ к внешним ресурсам. Nvidia рассчитывает создать дополнительный уровень защиты, который будет работать независимо от самого ИИ.
Фото: генерация ChatGPT
🤖 Подпишись на МИР Робототехники Если у вас установлено приложение,
вы можете сразу перейти в канал