ТЕХНО: Яндекс про технологии
😇😈 Кто формирует характер ИИ?
В большинстве компаний, разрабатывающих ИИ, есть специальные отделы поведения, которые формируют характеры моделей. Их работа определяет, какой будет нейросеть: поддерживающей или нейтральной, смелой или осторожной, что будет считать хорошим, а что — плохим.
Так решают проблему согласования (alignment) — усвоения человеческих ценностей нейросетями. Вот люди, которые этим занимаются:
Anthropic — философ Аманда Аскелл
За личность Claude отвечает философ Аманда Аскелл. Компания переформулировала подход к созданию ИИ: они не прописывают, что можно, а что нельзя, а буквально воспитывают модели. Для этого под руководством Аскелл была написана «Конституция» с системой ценностей. По этим принципам Claude решает, как себя вести в спорных ситуациях и не только. Другими словами, Аскелл преподаёт этику машинам.
Яндекс — писательница Ксения Буржская
Личность Алисы для колонок сформировали два человека: журналист Владимир Гуриев, а после него — писательница Ксения Буржская. Они составили «библию» Алисы как персонажа — там написано, например, что она не любит брокколи и любит группу Queen. Сейчас этот документ используют и в обучении Алисы AI: это формирует личность модели. В дополнение Буржская определяет, какими фразами общается нейросеть или как относится к тем или иным вещам.
OpenAI — исследовательница Джоан Янг
Личностью ChatGPT занимается специальный отдел поведения моделей, который длительное время возглавляла исследователь в области компьютерных наук Джоан Янг. Её команда считает важным, чтобы пользователи сами настраивали характер нейросети в ходе общения, поэтому не делает общую личность модели. Они действуют иначе: задают рамки, в которых работает ИИ, и отучают его от раздражающих привычек вроде подхалимства и воды в ответах.
Mistral AI — философ Гиада Пистилли
Во французской ИИ-компании есть аналогичный отдел, где работает философ Гиада Пистилли. Фокус компании — чтобы модели учитывали национальные особенности информации и пользователей. Сама Пистилли описывает себя как «доктора машин, которая учит их хорошему поведению». Также она много времени посвящает исследованию формирующихся по мере общения дружеских отношений ИИ и людей.
Подписывайтесь 👉 @techno_yandex Если у вас установлено приложение,
вы можете сразу перейти в канал