Пентест головного мозга
В продолжение предыдущего поста, попробуем осознать, как исходя из реальных человеческих возможностей внедрить человека на игровое поле ИИ (спойлер -- кинуть туда и убежать).
Четыре базовых величины, от которых мы можем отталкиваться -- это количество людей на эту роль, объем контекста (включая подсказки), время принятия одного решения и рабочие часы.
Любой HITL начинается с нулевого вопроса, который не про HITL. А про архитектуру самого проекта. Какую задачу решает, как устроен, и где проходит граница доверия. Граница доверия формируется исходя из того, до какой поры вы могли бы оставить без присмотра своего электронного ИИ-джуна, очень инициативного, но иногда несущего бред. Можно разлениться уже на этом этапе и нанять ИИшку для очерчивания границ. Этот этап придется столько раз переделывать, что вы всё равно в конце поверите, что сделали это сами.
1 этап: работаем с приоритетами. Находим и сортируем точки контроля по риску. Риск определяется ценой ошибки ИИ: самозабвенно тратит токены, ресурсы, бесконтрольно вайбкодит и деплоит сам себя, галлюцинирует в юридически значимых местах, или что-то ещё.
2 этап: мы, имея задачу, сопоставив количество ресурсов и точек контроля можем начинать то, что любят далеко не все. Сайзинг. Смотрим, какой контекст даётся оператору, сколько запросов сыпется и как решение принимается. По сути не сильно отличается от отладки алертов.
3 этап: когда наконец в цепочке появился первый подопытный страдалец, можно начинать смотреть соотношение отказов и согласий. Пункт со звёздочкой -- повторяющиеся сценарии можно автоматизировать. Исключение составляют юридически значимые результаты, которые без оглядки на удобство просто обязан отсматривать человек.
4 этап: фиксируем, что получилось. Проверяем, что не один и тот же человек и придумал HITL, и риски посчитал и сел за стол оператора, а это сделали несколько пар глаз. И хотя бы одна отличная от оператора пара глаз посмотрела статистику в динамике и показала, где не хватает напильничка.
Так вот очень просто и легко сейчас внедряется HITL, чтоб доказуемо, с рисками, блэкджеком и тотальным счастьем. В реальности -- со скрипом, ошибками, вообще не так, но по факту по описанным выше шагам (из-за всплывающих косяков вас просто будет бросать с четвертого этапа на любой другой и по многу раз). Каков вопрос, таков и путь. Если у вас установлено приложение,
вы можете сразу перейти в канал