Записки CIO | Роман Мезенцев
12 рекомендаций FSB по внедрению ИИ
Совет по финансовой стабильности (FSB) 15 октября выпустил набор практик, как в фин. секторе внедрять ИИ. Разумно управляя риском, при этом.
Практики разделены на две группы:
Организационные (Практики 1–4): кто управляет и кто отвечает:
1. Стратегия и надзор. ИИ увязан с бизнес-моделью и аппетитом к риску. Смотрит совет директоров
2. Роли. Три линии защиты и кросс-функциональный комитет
3. Риски ИИ внутри ERM. Документирован весь жизненный цикл, вплоть до промптов и ID агентов
4. Адаптивность. Учить людей и руководство. Ходить в отраслевые песочницы
Управление жизненным циклом ИИ (Практики 5–12). От идеи до эксплуатации:
5. Оценка рисков. Присущий и остаточный риск кейса — на этапе идеи и ещё раз при масштабировании.
6. Выбор технологии. Своё, open-source или вендор. Под задачу, а не под моду.
7. Данные. Качество, репрезентативность, конфиденциальность, законность.
8. Объяснимость. Логика понятна контролёру и клиенту. Для «чёрных ящиков» — компенсирующие контроли.
9. Мониторинг. Точность, дрейф моделей и данных, состязательное тестирование.
10. Человек в контуре. Борьба с automation bias, сохранение компетенций, ручной перехват.
11. ИБ. Prompt injection, jailbreak, poisoning. Защита инфраструктуры и API.
12. Третьи стороны. Цепочка поставок ИИ, встроенный ИИ в чужом софте, зависимость от одного вендора.
Совет, при этом, обозначает необходимость соблюдения баланса: отказ от ИИ также влечёт за собой риски потери конкурентоспособности и снижение способности выявлять современные угрозы ИБ и фрод
Примеры в отчёте подтверждают рыночные варианты использования ИИ: кредитный скоринг, анти-фрод, AML/KYC, клиентское обслуживание, бэк-офис и непрерывность.
И, конечно, сами риски агентного ИИ:
- Несанкционированные действия. Агенту дали цель, он её достигнет. Иногда обходным путём: неэтичным или вовсе незаконным. Поймать это в реальном времени сложно
— Накопление ошибок. Цепочка из сотни шагов. Ошибся на одном, и всё дальнейшее строится на ошибке
- Сбой в зависимых системах. Агент ходит по API во внутренние и внешние системы. Что он там натворит — отдельный вопрос. А если агентов несколько, они могут договориться между собой (collusion). Звучит как «Чёрное зеркало», но реальные примеры уже есть
- Отравление памяти (Memory Poisoning). Подменили кусок базы знаний в RAG, и поведение агента тихо поплыло. Без единого алерта.
- Матрёшка субагентов. Главный агент плодит субагентов. Кто за кого отвечает, уже не разобрать. Контур контроля размывается
Бриф на русском в следующем посте
Оригинал документа: https://www.fsb.org/uploads/P151026-1.pdf Если у вас установлено приложение,
вы можете сразу перейти в канал