За ошибки американских военных ответит искусственный интеллект

ПОЧЕМУ НЕЙРОСЕТЯМ ДОВЕРЯТЬ НЕЛЬЗЯ

"В конфликте на Ближнем Востоке появился новый фигурант – искусственный интеллект. Американские военные использовали его для определения целей в Иране, но, как сообщают СМИ, именно ошибки в работе компьютерного разума привели к ударам по гражданским объектам, включая школу с детьми в Минабе. Попытаются ли Штаты списать халатность на алгоритмы?"

Трамп как троянский конь продолжает вредить США в данном случае понадеявшись на ИИ, а ИИ это нейросети (крайне ненадежная технология с непредсказуемым результатом). Короче говоря, нейросети наплели ему что нападение на Иран будет такой же легкой прогулкой как в Венесуэле. В итоге получилось что получилось.

Подробнее:

https://e-news.su/in-world/535636-za-oshibki-amerikanskih-voennyh-otvetit-iskusstvennyj-intellekt.html

Почему нейросети — это технология «на грани фола»: Фундаментальная ненадежность, социальный пузырь и иллюзия контроля

Мы привыкли воспринимать технологии как нечто детерминированное: нажатие кнопки «пуск» в стиральной машине гарантирует запуск цикла, а сумма 2+2 в калькуляторе всегда равна 4. В случае с нейросетями это правило перестает работать. Их нельзя назвать надежными в классическом инженерном смысле, и дело не в недостатке квалификации программистов, а в фундаментальных ограничениях самого подхода.

1. Экстраполяция «на глазок» вместо строгого расчета

По своей сути, нейросеть — это не набор четких инструкций (алгоритмов), а колоссальная математическая функция с миллионами (или миллиардами) переменных — весовых коэффициентов. Процесс обучения сводится к тому, чтобы подобрать эти коэффициенты так, чтобы на известных примерах (обучающей выборке) сеть давала правильный ответ.

Представьте, что вам дали лист бумаги с тремя точками и попросили провести через них линию. Вы можете провести прямую (линейная регрессия), а можете изощренную кривую, которая пройдет точно через все три точки. Нейросеть делает нечто подобное, но в пространстве с миллионами измерений. Она строит интерполяцию между известными ей примерами.

Проблема возникает тогда, когда мы просим нейросеть выйти за пределы известных ей областей — то есть заняться экстраполяцией. Мы просим её предсказать, что будет за пределами этого листа бумаги. Глядя на три точки, мы не можем знать наверняка, пойдет ли линия дальше вверх, вниз или сделает петлю. Нейросеть тоже не знает. Она просто «фантазирует», опираясь на те закономерности, которые «выучила», но которые могут не иметь ничего общего с реальностью за пределами учебника.

2. Иллюзия понимания и «слепота» к смыслу

Нейросеть оперирует статистикой, а не логикой. Она не понимает, что такое «стул» или «человек». Она видит закономерности в распределении пикселей. Это приводит к парадоксальным и фатальным ошибкам:

Состязательные атаки (Adversarial attacks): Незримое для человеческого глаза изменение контраста на изображении панды может заставить нейросеть с 99% уверенностью классифицировать её как страуса. Для сети эти пиксели — просто числа, и небольшое «статистическое отклонение» в нужную сторону ломает всю экстраполяцию.

Галлюцинации: В текстовых моделях это проявляется в виде уверенной лжи. Модель не «вспоминает» факты из базы данных, она экстраполирует поток слов. Если логический ход, ведущий от вашего вопроса к правильному ответу, лежит чуть дальше, чем видела модель в обучении, она «дорисовывает» красивую, но ложную картину.

3. Почему эти ошибки неустранимы?

Если бы ошибки были следствием «багов» (ошибок в коде), их можно было бы найти и исправить. Но здесь мы имеем дело с особенностями технологии. Это не баг, а фича.

Отсутствие гарантий: В математике экстраполяции не существует понятия «гарантии». Невозможно математически доказать, что нейросеть, правильно отвечающая на миллиард тестовых вопросов, не выдаст абсурд на миллиард первом. Мы никогда не можем быть уверены, что покрыли все возможные граничные случаи (edge cases) в обучении. Реальный мир бесконечно разнообразен.

Проблема черного ящика: Даже если нейросеть ошиблась, мы часто не можем точно сказать, почему это произошло. Мы видим только конечный результат. Миллионы весовых коэффициентов взаимодействуют столь сложным образом, что трассировка решения (обратный инжиниринг мысли) практически невозможна. Если мы не понимаем причину ошибки, мы не можем гарантировать, что исправление (дообучение на новых данных) не сломает что-то еще.

Сбой как норма: В традиционной программе сбой — это исключительная ситуация. В нейросети «сбой» (неправильная экстраполяция) — это один из возможных, и вполне естественных, вариантов её работы. Она всегда экстраполирует. Иногда удачно, иногда нет. Мы просто стараемся повысить вероятность удачного попадания, но исключить неудачные не можем.

4. Зона ответственности: Почему нейросетям нельзя доверять управление

Именно из-за своей вероятностной природы и отсутствия гарантий нейросети принципиально непригодны для создания критически важных и ответственных систем. Ни один здравомыслящий инженер не допустит их к управлению:

- Ядерным реактором — потому что нейросеть может «галлюцинировать» показания датчиков или принять штатную ситуацию за аварийную (и наоборот) на основе статистической погрешности.

- Автопилотом автомобиля — потому что дорожная ситуация может оказаться за пределами обучающей выборки (лошадь на трассе, нестандартная разметка, ремонтные работы), и поведение машины станет непредсказуемым.

- Медицинским диагнозом — потому что цена ошибки — человеческая жизнь, а нейросеть не может объяснить, почему она поставила тот или иной диагноз, и не способна мыслить причинно-следственными связями.

В этих сферах требуются системы, поведение которых можно предсказать и математически верифицировать. Золотым стандартом здесь были и остаются конечные автоматы (finite-state machines) и детерминированные алгоритмы. В конечном автомате для каждого состояния и входного сигнала точно прописано следующее состояние. Его работа прозрачна, предсказуема и поддается исчерпывающему тестированию. Это технология, построенная на жесткой логике, а не на шаткой статистике.

5. Искусственный бум: Нейросети как новый «мыльный пузырь»

На фоне технологической незрелости и фундаментальной ненадежности особенно цинично выглядит ажиотаж вокруг нейросетей. Этот бум раздут искусственно — точно так же, как в свое время пузырь блокчейна и криптовалют. Инвесторам и общественности продают красивую историю о «прорыве» и «будущем», хотя реальная применимость технологии жестко ограничена.

Блокчейн, который рекламировали как революцию во всем — от банковских переводов до голосований, — на практике оказался нишевым и крайне неэффективным инструментом для большинства задач. С нейросетями происходит та же история: маркетинговая шумиха многократно превосходит их реальную полезность. Нас убеждают, что это «новый электричество», хотя на деле это просто очень дорогой и капризный инструмент для генерации текста и картинок.

6. Технология контроля: Темная сторона бума

Возможная попытка использовать нейросети для создания систем тотального контроля также не может остаться без внимания.

Нейросети, в отличие от жестких алгоритмов, позволяют внедрить «резиновую логику»: систему, которая формально не нарушает закон (потому что у нее нет жестких правил), но на практике может принимать любые нужные решения. Модерация контента, социальные рейтинги, автоматическое принятие решений о выдаче кредитов или даже приговоров — везде, где можно сослаться на «сложность алгоритма» и «обучение на данных», нейросеть может стать идеальным прикрытием для произвола. Это позволяет создать машину слежки и манипуляции, которая неподконтрольна обществу, так как никто не может заглянуть внутрь «черного ящика» и оспорить его решение.

Заключение

Нейросети — это удивительный инструмент для автоматизации рутины, генерации идей и анализа данных, где допустима определенная доля погрешности. Однако называть их «надежной технологией» в контексте систем, требующих детерминизма и безопасности, или верить в их исключительно светлое будущее — опасное заблуждение. Мы имеем дело с вероятностной технологией, фундаментально неспособной к строгому логическому выводу. Ажиотаж вокруг неё подогревается спекулянтами и теми, кто видит в хаосе нейросетей удобный инструмент для установления абсолютного контроля. Полагаться на неё как на истину в последней инстанции — все равно что доверить управление самолетом пилоту, который видит мир не через стекло кабины, а через мутный экран старого телевизора с помехами: в целом картину разобрать можно, но в критический момент помехи могут оказаться фатальными, а у штурвала не окажется ни одного запасного, детерминированного автопилота.

Источник: e-news.su

Комментарии: