Проблемы и ошибки машинного обучения, нейронных сетей (нейросетей), глубокого обучения

Недавний случай, произошедший со мной, заставил задуматься о будущем технологий и границах искусственного интеллекта. В одном из сервисов распознавания лиц ИИ неожиданно идентифицировал меня… на иконе. Как это возможно?

I. Что такое Adversarial Attacks?

I. Что такое Jailbreak в MLsecOps?

В контексте Machine Learning Security Operations (MLSecOps) “Jailbreak” относится к методам, которые позволяют обойти ограничения или защитные механизмы модели машинного обучения, заставляя ее вести себя не так, как задумано ее создателями.

О новом виде атак на нас. Отравление данных — это понятие из темы обучения нейросетей.

Ясен пень, что для обучения языковых моделей нужны качественные данные. Нейросеть отравляется на некачественных данных, такое может случиться ненамеренно.

Со 2 по 6 декабря в Лас-Вегасе проходит ежегодная конференция Amazon Web Services под названием re:Invent 2024. Там облачное подразделение Amazon презентовало свои последние разработки в области искусственного интеллекта.

Облачное подразделение Amazon Web Services (AWS) представило на мероприятии re:Invent 2024 систему Automated Reasoning. Эта система предназначена для борьбы с «галлюцинациями» — сбоями в моделях искусственного интеллекта, при которых они дают не соответствующие действительности ответы.

Обнаружена новая слабость нейронок. Если раньше проблемы были с пальцами, нейросети не могли нормально нарисовать руку, то сейчас оказалось, что нейросеть не понимает, как люди чистят зубы.

Этот процесс изображают весьма странно, ИИ думает, что у людей не рот, а фонтан какой-то

Исследователи выяснили, что большие языковые модели, такие как GPT-4o и Claude, не могут правильно подсчитать число букв «r» в слове «strawberry». Они выдают ответ, что эта буква встречается в слове дважды, а не трижды.

Пользователи ChatGPT, Meta AI и Gemini начинают замечать, что с течением времени ответы этих моделей становятся все менее точными и, иногда, просто ошибочными. Замечено, что ответы могут выглядеть “глупее”, а модели - более “ленивыми”.

Энтузиаст из США обнаружил, что футболка с изображением знака Stop может останавливать беспилотные такси. Роботизированная система автомобилей Waymo воспринимает стоящего на обочине человека с большим знаком Stop на груди в качестве дорожного знака.

Ответ на этот вопрос ищет студент института математики интеллектуальных систем КГУ Алексей Митрофанов. Он изучает галлюцинации ChatGPT-4.

Вот это фото в письме счастья стоило голландцу Тиму Хансену €380 штрафа. Потому что ИИ автоматической камеры на дороге распознал, что мужчина за рулём автомобиля использует мобильный телефон. А телефона в руке нет, чел просто чесал висок.

Разумеется, Тим решил оспорить штраф.

Появилась атака на искусственный интеллект под названием «отравление данных» (data poisoning). Она затронула Midjourney и DALL-E, которые иногда стали возвращать неожиданные результаты.

Apoploe vesrreaitais и другие «особенности» ИИ, от которых у дата-сайентистов вскипают мозги.

Интернет заполняет контент, созданный с помощью искусственного интеллекта. Это может стать плохой новостью для будущих моделей ИИ. Языковые модели обучаются на основе контента, найденного в интернете. По мере того как AI создает все больше "синтетического" контента, может возникнуть инженерная проблема, известная как "коллапс модели".

Новости о достижениях нейронных сетей появляются практически каждый день — ChatGPT, Midjourney и другие являются суперпопулярными историями в Google Trends. Нейронные сети, похоже, стали всемогущими и могут заменить людей на рабочих местах.

За последнее время мы стали свидетелями бурного развития нейросетей. Особую популярность приобрели программы, которые генерируют изображения из текстового запроса или совмещают графические объекты. Эта технология активно используется и в метавселенных.

Исследователи из Стэнфордского университета и Университета Райса обнаружили проблемы в генеративных моделях искусственного интеллекта, таких как знаменитые ChatGPT или Midjourney. Модели, обучаемые на данных, сгенерированных ИИ, будь то тексты или изображения, имеют тенденцию «сходить с ума» после пяти циклов обучения. 

Работа, проделанная в SERI-MATS  Джессикой Рамбелоу и Мэтью Уоткинсом.

TL;DR

Аномальные токены: таинственный режим сбоя для GPT (который надежно оскорбил Мэтью)

В университете Мэриленда придумали «свитер-невидимку» — он делает человека незаметным для систем распознавания лиц. Принт с размытым изображением людей на базаре обманывает модели машинного обучения, и обладатель пуловера может скрыться от искусственного интеллекта.

Исследователи из лаборатории машинного обучения OpenAI обнаружили, что даже самые продвинутые системы компьютерного зрения можно без труда обмануть, имея под рукой лишь ручку и блокнот.

Лучшие доклады Moscow Python 2018

Предлагаем изучить 4 лучших доклада с прошедших конференций для программистов и разработчиков

1. Как защитить алгоритм машинного обучения от Adversarial-примеров

2. Pylint изнутри. Как он это делает / Максим Мазаев (ЦИАН)

3. 50 оттенков celery / Олег Чуркин (TechOps)

Инструмент Google Cloud Vision, который с использованием машинного обучения помогает определить, что изображено на картинке, попал в неловкую ситуацию.

Ему показывают картинку, а он не может определиться, утка там или кролик. Может, объяснить ему, что такое оптическая иллюзия?

В результате абсурдного скандала,связанного с чернокожими,сервис Google Photo больше не поддерживает запросы«горилла», «шимпанзе» и «макака». Что это — тонкий троллинг или несовершенство машинных алгоритмов обучения?

С чего все началось

В первой статье мы успели осознать, как легко и непринужденно ИИ впитывает человеческие предрассудки в логику своих моделей. Как я и обещала, выкладываю вторую часть перевода, в которой мы разберемся, как измерить и ослабить влияние расизма в ИИ с помощью простых методов.