Может ли LLM-аудит экспертных заключений сделать систему поддержки научных грантов прозрачнее?

Может ли LLM-аудит экспертных заключений сделать систему поддержки научных грантов прозрачнее? Запускаем Инверсированный тест Тьюринга

Дорогие друзья!

Недавно мы столкнулись с ситуацией, когда эксперты Российского научного фонда (РНФ) отклонили нашу заявку по ментальным картам ("Лингвокогнитивный и нейросетевой анализ ментальных репрезентаций пространства "), предъявив претензии, ответы на которые явно содержались в самом тексте заявки и приложении к ней.

Возник вопрос: насколько внимательно и объективно эксперты читают научные заявки? Чтобы разобраться, мы решили провести независимый LLM-аудит экспертных заключений, используя современные большие языковые модели (GPT-4.5, GPT-O3).

Суть подхода:

- Берём тексты заявки, приложений и экспертных заключений.

LLM проводит независимый анализ и проверяет, действительно ли претензии экспертов обоснованы и соответствуют реальному содержанию заявки.

- Получаем объективную оценку качества работы экспертов.

Мы назвали этот подход Инверсированный тест Тьюринга (Reversed Turing Test): теперь не ИИ доказывает человеку свои компетенции, а эксперты демонстрируют, что их работа не хуже, чем у передовых языковых моделей.

Сейчас мы напрямую давали задания LLM через чат, и получили документы с большим количеством общих выводов (оценка экспертиз совпадает), но различающиеся по формату, стилю подачи и степени детализации обсуждений.

Что можно сделать дальше:

- Использовать локализованные модели для повышения защищенности, точности и специфичности анализа.

- Перейти к обращению через API с использованием промпт-инжиниринга, предварительно разработав стандартизированную систему оценок и формат вывода результатов.

Это позволит проводить глубокий и объективный аудит работы всех экспертов на основе всех представленных экспертиз, что станет важным шагом в очищении науки от недобросовестных и корыстных экспертов.

Готов лично возглавить рабочую группу по автоматизации LLM-аудита. Как автор методики и разработчик прототипа, могу собрать междисциплинарную команду (NLP-инженеры, лингвисты, методисты) и внедрить стандартизированный LLM-аудит в процессы научных фондов — от API-сервиса для загрузки рецензий до публичного дашборда качества экспертиз.

Ну а сейчас результаты LLM-аудита:

Экспертиза №1: неудовлетворительное качество (около 67 % фактических ошибок; поверхностное чтение текста заявки).

Экспертиза №2: низкое качество (несколько корректных замечаний по числу информантов и привлечению когнитивного психолога, однако > 60 % тезисов не подтверждаются документально).

Экспертиза №3: высокое качество (ключевые выводы полностью подтверждаются содержимым заявки; отмечен единственный обоснованный риск — усилить компетенцию по когнитивной психологии).

Таким образом, результаты LLM-аудита подтверждают:

— необоснованность большинства критических претензий в адрес Заявки;

— высокое методологическое и эмпирическое качество самой Заявки;

— вывод о необходимости усилить прозрачность и ответственность экспертной процедуры РНФ, пересмотрев рецензии с низким качеством аргументации.

Что это значит:

Необходимо улучшение системы экспертизы в научных фондах.

LLM могут эффективно дополнять и контролировать человеческую экспертизу, обеспечивая прозрачность и объективность.

Использование такого подхода позволяет бороться с предвзятостью и коррупцией при выделении грантов.

Мы считаем, что этот вопрос заслуживает широкой общественной дискуссии!

Мы загрузили в открытый доступ:

- Текст заявки

- Приложение к заявке

- Тексты экспертиз

- Результаты двух независимых LLM-аудитов (GPT-4.5 и GPT-O3)

Ссылки на все документы доступны здесь: https://drive.google.com/drive/folders/1_zVyjkHAd1jeLQzJpLVDQztrjk9yhoSR

Приглашаем Российский научный фонд, учёных, журналистов, Минобрнауки России, Российская академия наук | РАН, Российская академия образования, Научная Россия / Scientific Russia, СМИ2 - новостной агрегатор, Алексей Трапезников, Российская Газета и всех заинтересованных подключиться к обсуждению! Благодарю за репосты!

Источник: support.google.com

Комментарии: