Насколько опасны нейросети на войне: наблюдение «Военной хроники»

Генерал-майор Уильям "Хэнк" Тейлор, командующий 8-й армией США в Южной Корее, публично рассказал о своем опыте использования ChatGPT при принятии решений.

На первый взгляд - вполне рационально и прогрессивно. Пентагон в целом поощряет идею интеграции ИИ во все сферы военной деятельности, однако эксперименты, как правило, проводятся в закрытых средах, чтобы не допустить утечки. Однако пользуясь общедоступной нейронкой для принятия решений, генерал рискует лишиться допуска за ненадлежащее обращение с секретными данными.

Помимо рисков служебных разбирательств использование нейросети при принятии решений несет более системные риски и угрозы.

Проблема использования нейросетей начинается с того, что они зачастую воспринимаются как всезнающий, универсальный и точный инструмент. На деле же это статистический генератор текста, поэтому чем серьезнее и сложнее становится тема обсуждения, тем менее релеватными и полезными становятся ответы искусственного помощника.

Помимо этого, сами алгоритмы ИИ ставят под сомнение целесообразность их использования на стратегическом уровне. Главная проблема, которая часто упоминается — «галлюцинации».

Языковая модель очень грамотно и красиво подает любое, даже совершенно ложное, утверждение и сможет превосходно его аргументировать. Помимо этого, GPT не могут учитывать всех факторов и лучше оперируют конкретными данными, которые легко измеримы и в результате десятки факторов, часто составляющих «туман войны», могут быть упущены.

При этом вывод будет оформлен крайне убедительно, что склоняет лицо, принимающее решение, к одобрению сгенерированного решения. Эффект усиливается тем, что этика и ориентированность на пользователя во многих моделях выкручены на максимум - по истории запросов и паттернам поведения в истории чата нейросеть понимает, что именно вы хотите увидеть, и дает вам наиболее приемлемый именно для вашей психики вариант. И это важно: не правильный, а именно приемлемый.

Естественно, в Пентагоне эти риски прекрасно осознают. При этом осознают и то, что страна, которая первой решит проблему оптимальной интеграции ИИ в контур боевого управления станет лидером в новой гонке вооружений — технологической.

Поэтому несмотря на то, что Минвойны США выделяет огромные средства ($200 миллионов только частным компаниям в этом году) на исследования в этом вопросе, непосредственно в архитектуру управления ИИ на данный момент не интегрирован, потому что в форме открытых моделей, вроде Chat GPT, несет слишком много рисков.

Так будет продолжаться до тех пор, пока языковые модели не эволюционируют в полноценный искусственный интеллект, способный не просто выдавать приемлемые результаты, но и копировать многие процессы человеческого мозга, в том числе, синтетически воссоздавать механизмы активности нейронных связей.

Источник: vk.com

Комментарии: