ИИ научили создавать настолько реалистичные научные статьи, которые запутывают даже учёных

Давно знаю, что меня читает много разработчиков и вообще людей из ИТ-сферы. Как-то меня просили написать что-нибудь интересное про ИИ, поскольку эта тема интересна и мне тоже. Сегодня в журнале Nature вышла уж очень любопытная статья про возможности ИИ , про которую с удовольствием расскажу [1].

Немного про ChatGPT

ChatGPT — это чат-бот на основе искусственного интеллекта с впечатляющими возможностями [2]. Получить доступ к ChatGPT и протестировать его возможности можно даже из России (но это не очень просто [3]). Бота запустили недавно, 30 ноября 2022 года, и уже за полтора месяца набралось достаточно любопытных статей об его использовании [4]. Появился даже локальный мем на основе жёлтых заголовков, звучащий примерно так: «ChatGPT заменит программистов», и множество статьей, обсуждающих эту перспективу [5]. Или статей с привлекающими внимание заголовками типа «ChatGPT прошёл собеседование на работу в ИТ» [6].

Научное исследование возможностей ChatGPT

Учёные не остались в стороне в проверке возможностей ChatGPT. Чат-боту «скормили» выборку из 50 научных статей в журналах The New England Journal of Medicine (NEJM), The Lancet, JAMA, Nature Medicine и The British Medical Journal (BMJ). А затем попросили медицинских исследователей определить, какие работы ненастоящие и написаны ИИ, а какие людьми. Результат: учёные правильно определили только 68% сгенерированных ИИ работ и 86% работ, написанных людьми. То есть они определили 1/3 (32%) сгенерированных ИИ научных статей как настоящие, а ещё 1/7 (14%) настоящих научных статей, написанных людьми, посчитали машинно-сгенерированными. Исследование доступно в качестве препринта на boiRxiv [7].

Последствия

Мнения по поводу опасности ChatGPT для научных статей разделились как минимум на два типа. Одни учёные говорят, что могут быть ужасные последствия. Например, людей может сбить с толку ненастоящий машинно-сгенерированный текст, и на основе этого текста может быть принято какое-то решение. Другие учёные (например, Арвинд Нараянан, профессор в области сomputer science из Принстона) считают, что опасность преувеличена. Маловероятно, что какой-то серьёзный учёный будет использовать ChatGPT для своих научных текстов, поскольку преимущества ничтожны, а недостатки значительны — можно потерять работу и поставить крест на последующей научной карьере. К тому же, если ChatGPT и сможет создать убедительный текст, то не факт, что он сможет создать точную и убедительную аннотацию к работе, соответствующую этому тексту. Так или иначе научным журналам, возможно, придётся принять дополнительные меры по обнаружению машинно-написанный текстов.

Имитация научных статей ранее

От себя добавлю, что имитировать научность для массовой аудитории уже давно научились продавцы гомеопатии, антипрививочники и другие шарлатаны разных мастей. Задолго до появления ChatGPT у различных альтернатившиков (от фразы «альтернативная медицина») получалось удачно публиковать псевдонаучную чушь под видом научной работы, содержащую огромное количество умных и в то же время бессмысленных слов, а также манипулировать данными. Но чаще всего псевдонаучность работ такого уровня легко определялась настоящими учёным, а порой даже людьми, прошедшими и немного помнящими лишь базовые курсы по предмету статьи. А в случае с ChatGPT даже учёные могли достаточно часто не замечать искусственно сгенерированный текст. Даже если ChatGPT не скажется на научных публикациях, он может прибавить забот профессорам, регулярно проверяющим работы студентов.

Источники, как обычно, в первом комментарии, написанном от лица паблика.

Источник: vk.com

Комментарии: