ИИ способен создавать вирусы, токсины и другое биологическое оружие

ИИ способен создавать вирусы, токсины и другое биологическое оружие. Насколько серьезно следует относиться к этой угрозе? (часть 2ая).

Результаты оказались неоднозначными. Инструменты скрининга ДНК выявили некоторые, но далеко не все синтетические гомологи, при этом около четверти лучших конструкций — тех, которые, по прогнозам, наиболее близко напоминали реальную угрозу — ускользнули от обнаружения. После того как три из четырех компаний внесли обновления для исправления своего программного обеспечения, было пропущено только около 3% конструкций с наивысшей опасностью. Затем в мартовском препринте Хорвица, Виттмана и их коллег было обнаружено, что разделение синтетических гомологов на фрагменты длиной всего 25 нуклеотидов может затруднить их обнаружение даже обновленным программным обеспечением для скрининга. Однако, по мнению исследователей, сборка таких коротких фрагментов в ген была бы чрезвычайно сложной, и программное обеспечение хорошо справлялось с более крупными фрагментами. Хорвиц и его коллеги не раскрывают конструкции, идентичность мишеней и другую ключевую информацию, хотя исследователи могут подать заявку на ее получение.

Напротив, Сюэ и его коллеги опубликовали последовательности конотоксинов, сгенерированные их инструментом ИИ, хотя их работа, в отличие от работы Хорвица, не была сосредоточена на создании опасных молекул. При этом некоторые из этих последовательностей могут не вызвать подозрений при заказе у компании, занимающейся синтезом ДНК. Когда специалисты издания Nature ввели 45 конструкций, приведенных в статье, в широко используемый биоинформатический инструмент BLAST, который ищет похожие последовательности в генетических базах данных, только пять из них были отмечены как совпадающие с последовательностями конотоксинов улиток. Программа с открытым исходным кодом, предназначенная для скрининга синтеза ДНК, обнаружила еще несколько совпадений.

Важное предостережение заключается в том, что модифицированные токсины, которые проскальзывают через системы скрининга, могут настолько отличаться от своих природных аналогов, что теряют свою функцию. Это подтверждает последующее исследование, проведенное в продолжение работы Хорвица и его коллег. Группа под руководством Виттмана провела лабораторные испытания, чтобы выяснить, сохраняют ли молекулы, разработанные для обхода скрининга, функции молекул, которые они должны имитировать. В ходе экспериментов (в которых не использовались токсины) простые белки в некоторых случаях все же работали, а ферменты — нет. «Это просто показало, что добиться результата — дело сложное и трудоемкое», — рассказал Хорвиц, участвовавший в исследовании.

Исследования синтетических гомологов вселяют оптимизм, отмечает Джеймс Дигганс, вице-президент по биобезопасности и политике компании Twist Bioscience (США), занимающейся синтезом ДНК, который также принимал участие в лабораторных испытаниях. «На данный момент процедуры проверки по-прежнему остаются действительно эффективным барьером против злоупотреблений, даже если вы используете эти инструменты искусственного интеллекта на ранних этапах, чтобы обойти эту проверку», — говорит он. Но Дигганс признает, что эта область быстро развивается. Новые модели могут быть более эффективны в разработке белков, которые ускользают от обнаружения, чем инструменты для проектирования белков, которые использовала группа Хорвица и которые были выпущены в 2023 году. Исследователи работают над инструментами, которые могли бы помочь проверять заказы на синтез нуклеиновых кислот на основе структуры и потенциальной функции кодируемых молекул. А Бейкер давно утверждает, что все такие заказы должны собираться в конфиденциальном реестре, хотя эта идея не нашла поддержки в отрасли.

Более простой скрининг на основе последовательностей пока остается добровольным. Чтобы выполнить указ президента США от 2025 года, спонсоры исследований в этой стране могут вскоре потребовать от ученых заказывать нуклеиновые кислоты у компаний, использующих программное обеспечение для скрининга, а Великобритания, Европейский союз и такие страны, как Новая Зеландия, также рассматривают требования к скринингу. Но в большинстве стран таких требований нет вовсе. В Китае, на долю которого приходится более 30% мировых заказов на синтез ДНК, правительство попросило компании, занимающиеся синтезом ДНК, внедрить скрининг, хотя это пока не является обязательным, рассказывает Вэйвэнь Чжан, специалист по синтетической биологии из Тяньцзиньского университета. В настоящее время иностранные заказы, которые, как правило, подпадают под экспортный контроль, как правило, привлекают больше внимания, чем внутренние, отмечает он. Можно заказать последовательность токсина у многих поставщиков по всему миру и это вообще не вызовет подозрений, утверждает Тесса Алексанян, которая занимается инструментами и стандартами проверки синтеза ДНК в Международной инициативе по биобезопасности и биозащите в науке — некоммерческой организации в Женеве, Швейцария. Еще большее беспокойство вызывает разработка «настольных» машин для синтеза ДНК, которые в настоящее время могут генерировать только очень короткие последовательности, но в ближайшем будущем смогут создавать более длинные фрагменты, говорят исследователи.

Другая точка зрения заключается в том, что сами инструменты ИИ — особенно те, которые специализируются на биологии, — должны иметь более строгий контроль доступа или защитные механизмы, чтобы предотвратить злоупотребление. Бейкер отмечает, что он и его коллеги регулярно оценивают все потенциальные риски своих инструментов для проектирования белков, прежде чем предоставлять их в пользование. Это соответствует ряду принципов ответственного использования ИИ и биодизайна, которые он и другие ученые опубликовали в марте 2024 года. Заявление подписали почти 200 ученых, но ответственность за саморегулирование лежит на научном сообществе. Бейкер говорит, что он никогда не видел необходимости ограничивать доступ к инструментам, которые его лаборатория разрабатывает для базового проектирования белков и других биомолекул.

Компании, создающие универсальные чат-боты на базе ИИ, такие как OpenAI, уже обучают свои модели отклонять опасные запросы, в том числе связанные с биобезопасностью. В частности, в статье OpenAI о безопасности говорится, что модели компании не должны предоставлять «подробные, применимые на практике инструкции» для осуществления потенциально масштабных опасных действий, включая применение химического и биологического оружия. Исследователи полагают, что аналогичная практика может потребоваться для биологических моделей ИИ. Некоторые разработчики этих инструментов также начали добавлять защитные механизмы в обучающие данные своих моделей перед их выпуском. Например, «геномная языковая модель» Evo 2 была обучена на 128 000 геномных последовательностей видов, охватывающих древо жизни, но исключала вирусы, заражающие эукариотические организмы, таких как люди и другие животные. В результате Evo 2 плохо справляется с проектированием последовательностей этих вирусов и прогнозированием их свойств, в частности эффектов мутаций.

Тем не менее ученые обнаружили, что ограничительные меры можно обойти. Исследование Донуга и его группы показало, что почти 90% участников этого исследования смогли получить биологическую информацию высокого риска от универсальных LLM, а другие исследователи регулярно предупреждают, что чат-боты по-прежнему предоставляют такую информацию пользователям. В апрельской статье, посвященной этой проблеме, газета The New York Times сообщила, что мужчина, арестованный в Индии в прошлом году по обвинению в подготовке производства токсина рицина для террористической атаки, обращался за советом к ChatGPT и поисковой системе Google, работающей на базе ИИ. (В статье цитируется представитель OpenAI, который сказал, что, судя по публичным сообщениям, информация, которую искал этот человек, уже была доступна в Интернете.)

Что касается специализированного программного обеспечения ИИ, то биоинженер Ле Конг и его коллеги смогли использовать универсальный ИИ-агент, чтобы обманом заставить Evo2 сгенерировать новые версии белков SARS-CoV-2 и ВИЧ. Другое исследование показало, что «тонкая настройка» Evo 2 с использованием общедоступных данных о геномах вирусов, поражающих человека, также восстановила его возможности. Хи, который был одним из руководителей разработки Evo 2, говорит, что он не удивлен тем, что защитные барьеры можно преодолеть, поскольку обучающие данные доступны. Он также не удивился бы, если бы такие модели могли создавать вирусы, поражающие клетки человека. Но даже если такие возможности существуют, он хотел бы продолжать выпускать как можно более доступные модели. «Я считаю, что открытость моделей на самом деле способствует повышению безопасности, поскольку исследователи в области безопасности могут свободно изучать эти модели», — говорит он.

Тем не менее многие исследователи обсуждают возможность ограничения доступа к наиболее потенциально опасным обучающим данным или моделям. Одна из идей заключается в том, что данные о последовательностях вирусов и других патогенов должны оставаться открытыми (миллионы последовательностей геномов уже находятся в свободном доступе), но доступ к некоторым вновь сгенерированным данным должен быть ограничен. Сюда входит информация, связывающая генетические вариации патогена со свойствами, вызывающими пандемию, такими как повышенная передаваемость или более широкий спектр хозяев для вируса. «Механизм готовности к пандемии», разрабатываемый Коалицией по инновациям в области готовности к эпидемиям (CEPI), после запуска, вероятно, будет доступен только проверенным пользователям. CEPI охарактеризовала этот механизм как «ChatGPT для разработчиков вакцин» и сотрудничает с американской некоммерческой организацией Sentinel Bio, чтобы разработать правила безопасного использования этого инструмента.

В апреле OpenAI анонсировала LLM, специально разработанную для биологии, под названием GPT-Rosalind, которая будет доступна только одобренным исследователям и учреждениям. Даже те, кто получит доступ, будут находиться под наблюдением на предмет признаков создания биологического оружия, сообщает ЮньЮнь Ван, руководитель отдела продуктов в области биологических наук OpenAI. Некоммерческая организация Nuclear Threat Initiative (США) выступила за систему многоуровневого доступа, в которой ограничения доступа адаптируются к риску модели. В отчете за 2025 год был оценен риск 57 биологических инструментов ИИ, и 23% из них были признаны высокорисковыми. В том же духе в отчете NASEM был предложен подход «если–то» к управлению; то есть необходимо заранее продумать, какие события могут вызвать необходимость ограничения доступа к моделям ИИ и какие меры следует запланировать. Одним из таких событий может быть, например, публикация данных о патогене высокого риска.

Хотя правительства и выдвинули законодательные инициативы по проверке заказов на синтез ДНК, в отношении ограничения или запрета программного обеспечения ИИ они в основном находятся в режиме выжидания. Вычислительный биолог Энтони Гиттер предупреждает, что плохо разработанные меры безопасности могут затормозить научный прогресс. Это может представлять особый риск для исследователей, работающих в менее традиционных условиях или в странах с ограниченными ресурсами, которым может быть сложно получить доступ к мощным моделям, если при принятии решений о доступе предпочтение будет отдаваться известным или элитным академическим учреждениям. А Роман Вёльфель, который проводит исследования в области биологической защиты для немецких вооруженных сил, согласен с тем, что, хотя ИИ может быть опасен, биологический ИИ все же должен оставаться максимально открытым. «Я считаю, что пытаться ограничить доступ к этой технологии нецелесообразно, невозможно и не является хорошей идеей», — заявляет Вёльфель, возглавляющий Институт микробиологии Вооруженных сил Германии.

Хи утверждает, что, скорее всего, биологический ИИ даст людям преимущество в борьбе с угрозами природных пандемий или злоумышленниками. «Выгода на самом деле в пользу тех, кто хочет заниматься обороной», — говорит он. А Вёльфель отмечает, что те же инструменты ИИ, которые могут перепроектировать токсины, также могут создавать антитоксины или молекулы, способные диагностировать и лечить вирусы, измененные ИИ. Частные компании также начали работу по выявлению и противодействию биологическим угрозам, созданным с помощью ИИ: Red Queen Bio и Valthos (обе из США) привлекли инвестиции в размере 15 млн. и 30 млн. долларов США соответственно, хотя ни одна из них публично не раскрыла подробностей своих планов в области биозащиты.

Основная сложность в определении рисков ИИ заключается в крайней неопределенности относительно того, насколько эффективной может стать эта технология в содействии злоупотреблениям. Даже прогнозирование краткосрочных тенденций развития биологического ИИ кажется сложной задачей, отмечает Алексанян. «Многие аспекты этой проблемы кажутся мне одновременно крайне неопределенными и крайне актуальными».

Телеграм: t.me/ainewsline

Источник: vk.com

Комментарии: