Используя инструмент BrainBench, исследователи оценили способность БЯМ распознавать реальные научные результаты. BrainBench состоит из пар научных абстрактов, где один содержит достоверные данные, а другой — модифицированные экспертами правдоподобные, но неверные результаты. В тесте участвовали 15 моделей ИИ и 171 специалист в области нейробиологии.
По итогам эксперимента БЯМ показали среднюю точность 81%, тогда как эксперты справились с задачей лишь на 63%. Даже среди самых квалифицированных участников точность не превышала 66%. Специализированная модель BrainGPT, разработанная на основе открытой БЯМ Mistral и обученная на данных из нейробиологии, достигла 86% точности, что на 5% выше, чем у универсальной версии.
Профессор Брэдли Лав из UCL считает, что ИИ способен не только находить закономерности в научной литературе, но и потенциально помогать в проектировании экспериментов. Он подчеркнул, что результаты показывают, что многие научные исследования предсказуемы, так как базируются на уже существующих данных.
Разработчики инструмента также отметили, что уверенность БЯМ в своих решениях коррелировала с правильностью ответов. Это открывает возможности для сотрудничества учёных с ИИ, где модель могла бы предоставлять рекомендации, основанные на вероятности успеха того или иного подхода.
Профессор Лав добавил, что их подход универсален и может применяться к любой научной области, что делает инструменты на базе БЯМ полезными для ускорения научного прогресса. В дальнейшем команда намерена разработать платформу, которая поможет исследователям оценивать и корректировать свои эксперименты ещё до их проведения.
Исследование было поддержано рядом крупных организаций, включая Microsoft и Экономический и социальный исследовательский совет Великобритании (ESRC), и проводилось при участии учёных из университетов Кембриджа, Оксфорда и других ведущих исследовательских центров по всему миру.