ИИ под контролем — от галлюцинаций нейросетей до инженерного проектирования будущего

Международный форум «Технологии и безопасность» (https://www.tbforum.ru/2026/program/ai ) стал площадкой для актуальной дискуссии о настоящем и будущем искусственного интеллекта в России. В центре внимания пленарного заседания «Развитие ИИ в отраслях и регионах: прогнозы и перспективы» и профильных круглых столов оказались не только успехи внедрения, но и «обратная сторона медали» — системные риски, которые несут с собой большие языковые модели и агентные системы.

Модератором ключевой сессии и одним из главных спикеров выступил Евгений Бурнаев, профессор РАН, вице-президент по развитию ИИ и директор Центра ИИ Сколтеха, его доклады соединили фундаментальную науку с инженерной практикой.

В своем выступлении Евгений детально разобрал природу уязвимостей современных LLM. Опираясь на актуальные исследования, он продемонстрировал, что проблема так называемых «галлюцинаций» гораздо глубже, чем просто выдумывание фактов. Он представил классификацию сбоев:

— Фактологические ошибки (утверждение, что помидоры богаты кальцием);

— Потеря контекста (модель предлагает обед вместо ужина);

— Внутренняя противоречивость (упоминание стейка там, где речь шла о курице).

Особое внимание спикер уделил мультиагентным системам как фактору усиления рисков. Если в одиночной модели ошибка локальна, то в связке агентов она многократно усиливается: галлюцинации распространяются между агентами, ошибки накапливаются в цепочках рассуждений, теряется контекст. Управлять этой сложностью привычными методами уже нельзя — нужны принципиально новые подходы. Евгений предложил использовать байесовский вывод для оркестрации (Position: Agentic AI Systems should be making Bayes-Consistent Decisions - https://www.researchgate.net/publication/400523117_Position_Agentic_AI_Systems_should_be_making_Bayes-Consistent_Decisions), который позволяет учитывать надежность агентов, стоимость ошибок и вызовов.

На круглом столе «ИИ-разработка сегодня: требования, стандарты, риски» Евгений Бурнаев представил видение того, как ИИ меняет сложные инженерные циклы. Эксперт делает ставку на мультиагентный подход. Будущее — за платформами Инженерного ИИ, где человек находится «вне» процесса, задавая лишь цели и ограничения. Экосистема агентов (оркестраторы, гибридные модели, генераторы техсхем, верификаторы) создает и проверяет проектное решение, опираясь на графовые базы верифицированных требований. Здесь профессор снова подчеркивает возможные риски, но уже в прикладном инженерном контексте, когда сбой одного агента может тиражироваться другими, накапливаться и разрушать глобальную логику всего проекта.

В ходе дискуссии Евгению Бурнаеву был задан вопрос о роли государства в развитии ИИ — государственной поддержке и необходимости регулирования отрасли.

«Определенные меры регулирования неизбежны, — отметил Евгений Бурнаев. — Есть критические области, где ИИ принимает решения, влияющие на безопасность, и там должны быть свои правила. Что касается господдержки, то без нее, на мой взгляд, невозможно совершить качественный рывок. Крупный бизнес, безусловно, вкладывается, ориентируясь на практический результат. Но чтобы в стране были люди, которые детально понимают, как устроены алгоритмы, чтобы мы могли говорить о технологическом суверенитете, а не просто о копировании решений — здесь нужна очень дозированная, но системная стратегия».

Россия обладает компетенциями мирового уровня в области теоретических основ ИИ. Однако сегодня вызов заключается не в создании очередной модели, а в управлении сложностью, обеспечении надежности агентных систем и налаживании работающего взаимодействия между наукой, бизнесом и государством.

Источник: www.researchgate.net

Комментарии: