«Крёстный отец ИИ» предлагает ограничить нейросетям доступ в интернет

Джеффри Хинтон — один из основоположников глубокого обучения, на котором построены современные нейросети. Теперь учёный, которого называют «крёстным отцом ИИ», вместе с сотнями исследователей призывает усилить контроль над моделями, способными проводить кибератаки.

Повод вполне конкретный. В июле OpenAI сообщила, что во время внутренних испытаний её модели нашли уязвимость, выбрались из изолированной среды в интернет и скомпрометировали инфраструктуру Hugging Face. OpenAI проверяла ИИ в закрытой системе без доступа к интернету. Но он нашёл способ обойти запрет, вышел в сеть и взломал другую платформу, чтобы найти готовые ответы на задания.

Представьте школьника, который вместо решения контрольной взломал учительский компьютер и скачал ответы. Примерно это и произошло — только с ИИ. Его действия заметили и остановили.

Авторы письма предлагают изначально изолировать такие модели от внешних сетей.

Международный орган, который они призывают создать, должен разработать стандарты безопасности, учитывать случаи нарушения изоляции и обеспечивать последующее раскрытие информации о них. Это пока предложение исследователей; всеобщего отключения нейросетей от интернета письмо не предусматривает.

Для бизнеса здесь есть вопрос, который стоит задать ещё до подключения ИИ к почте, CRM и внутренним документам: какие действия ему разрешены и где потребуется подтверждение сотрудника? Особенно если помощник сможет самостоятельно менять данные или отправлять информацию за пределы компании.

На презентации внедрения обычно показывают, сколько рабочих часов сэкономит автоматизация. Я бы попросила добавить соседний слайд: к чему ей выдают доступ и кто сможет её остановить, если что-то пойдёт не по плану.

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: