Искусственный интеллект теперь и на Sci-Hub !

Ура! Наконец-то получилось реализовать давнюю мечту: добавить в проект нейронные сети, которые могут читать и понимать научные статьи. Поэтому с недавних пор на сайте появилось две новых функции, коорые надо обязательно опробовать в работе (и написать фидбек)

Первая — это семантический поиск, то есть подбор статей по смыслу запроса. Теперь можно ввести в окошко Sci-Hub запрос по своей тематике и получить в ответ подборку статей из базы. Причем запрос можно делать на любом языке — мультиязыковая модель EmbeddingGemma найдет статьи в базе по смыслу сказанного. Всего проиндексировано около 51 миллионов абстрактов — это меньше, чем полная коллекция, потому что не для всех статей удалось получить абстракт (а в некоторых случаях он отсутствует вовсе) но так или иначе индекс будет пополняться.

Так что если кто-то давно мечтал о поиске на Sci-Hub — то вот теперь есть. Раньше его делать не имело смысла, потому что раньше технологии поиска опирались в основном на ключевые слова, а добиться релевантных результатов только по ключевым словам — крайне сложная задача, и тратить на нее время просто было бы глупо. А сейчас благодаря развитию технологий ИИ поиск по базе можно сделать сравнением одного вектора и получить максимально релевантные результаты.

А вот вторая функция появилась буквально на днях, и это бот Sci-Bot, который умеет составлять мини-обзоры по научным темам. Бот по Вашему запросу ищет статьи в базе Sci-Hub, читает их полные тексты, и компонует их в краткий научно обоснованный ответ. И в отличие от других чат-ботов, Вы получаете не просто ответ со ссылками на литературу, но каждая ссылка здесь кликабельна — можно просто нажать и статья откроется в базе Sci-Hub. В то время как другие чат-боты ограничены требованиями так называемых правообладателей, Sci-Hub преодолевает эти ограничения!

Хотя конечно, свои ограничения у этого чат-бота тоже есть: поиск ведется по базе Sci-Hub, а она последние несколько лет обновлялась с перебоями. Но этот недостаток будет устраняться. Главное сейчас, что сама концепция работает — робот ищет и читает статьи в библиотеке Sci-Hub, и отвечает на вопросы.

Мечта сделать такого бота для Sci-Hub была давно, но реализовать её стало возможно только недавно, благодаря развитию агентных нейронных сетей — такие нейросети могут не только генерировать тексты, но и принимать решения, например, что надо поискать и прочитать еще какой-нибудь материал. Еще в начале 2025 года реализовать такого бота было бы на порядок сложнее — но технологии не стоят на месте.

Так что пробуем бота в работе тут: sci-bot.ru и пишем свои отзывы и пожелания.

А что пока не удается реализовать? Это автоматический перевод научных статей на любые языки. Он распадается на две подзадачи: собственно перевод — и расположение переведенного текста так, чтобы повторить верстку изначальной статьи. Да, и ту и другую задачу современные нейросети делают — но кривенько — поэтому обойтись без серьезной доработки результата человеком пока не получается (если же говорить о базе Sci-Hub, то там добавляется и третья подзадача — правильное распознавание последовательности текста в файлах PDF) Так что искусственному интеллекту еще есть куда развиваться и расти.

Источник: vk.com

Комментарии: