Биты и Болты | ИИ • Роботы • Наука
✈️ Конструкторы китайских истребителей публично боятся галлюцинаций LLM
Чжан Сяньчжэ из Чэндуского авиационного НИИ корпорации AVIC — того самого, что делал J-20 и ведёт программу J-36, — описал вполне конкретный класс отказов. Языковая модель уверенно выдаёт вымышленные тактико-технические характеристики: размеры малозаметного самолёта, боевую нагрузку, скорость, радиус действия.
Дальше хуже. Модель может назвать неверные дальности сканирования и частотные диапазоны РЛС, порекомендовать материал за пределом его усталостной прочности, предложить манёвр, нарушающий аэродинамические ограничения, или построить маршрут за пределом реальной дальности машины.
Отдельный пункт — разведданные. Система способна сгенерировать несуществующие базы, подразделения и перемещения войск, а аналитик, подставив это в модель конфликта, получит красивую и полностью ложную оценку возможностей противника.
Предлагаемые меры звучат буднично и потому убедительно: привязка модели к проверенным ведомственным данным, поисковые базы знаний для верификации, более точные формулировки запросов и перекрёстная проверка выводов одной системы другой.
Забавно и показательно, что самая трезвая публичная методичка по галлюцинациям пришла не от лаборатории и не от регулятора, а от людей, проектирующих боевые самолёты. Там просто нельзя закрыть глаза на ошибку: она превращается в требования к конструкции. Инженерная культура «покажи источник» тут не украшение, а условие работы — и остальным отраслям стоило бы её позаимствовать раньше, чем позже. Если у вас установлено приложение,
вы можете сразу перейти в канал