Нейросети начали ломать друг друга

Стартап CodeWall спустил с поводка своего автономного ИИ-агента, и тот за пару часов получил доступ к внутренней платформе Lilli, которой пользуются 43 тысячи сотрудников консалтингового гиганта McKinsey. Причем бот сам выбрал цель (нашел профиль компании на HackerOne) и отработал весь цикл абсолютно без помощи кожаных мешков.

Никаких многоходовочек или зеродеев, ИИ просто раскопал публичную документацию к API и нашел там эндпоинт без аутентификации.

Разработчики McKinsey умудрились допустить детскую ошибку времен интернета по карточкам, они подставляли ключи из JSON напрямую в базу данных. Штатные сканеры безопасности корпорации этого в упор не видели, а вот умный бот за 15 попыток восстановил структуру запроса через ошибки сервера и получил ключи от королевства.

46 миллионов сообщений сотрудников, сотни тысяч секретных PDF и таблиц, плюс полный доступ к системным промптам самой нейросети Lilli. Теоретически, хакерский ИИ мог одним запросом переписать базовые инструкции корпоративного бота, заставив его давать консультантам McKinsey вредные финансовые советы или сливать данные налево, и никто бы даже не понял, откуда дует ветер. McKinsey залатали дыру за сутки и клянутся, что ничего не утекло.

Источник: vk.com

Комментарии: