Контекстуальные эмбединги для повышения эффективности поиска

Contextual Document Embeddings (CDE) - это метод векторных эмбедингов, разработанный в Cornell University, который учитывает дополнительный контекст из "соседних" документов целевого набора данных.

Метод CDE предлагает добавить к функции встраивания зависимость не только от запроса или документа, но и от всех других документов в наборе данных. Чтобы создать такую функцию с осведомленностью о своем окружении, предлагаются две взаимодополняющих техники:

Контекстуальное обучение, которое основано на кластеризации документов и запросов для формирования групп тематически схожих псевдообластей данных. Обучение на этих группах позволяет эмбединг-модели различать документы в сложных контекстах.

Контекстуальная архитектура. Дополняет стандартный BERT-подобный энкодер дополнительными токенами из агрегированной информации о соседних документах. Эта информация позволяет модели учитывать относительную частоту терминов в контексте, аналогично тому, как это делается в статистических моделях поиска.

Тестирование CDE показало, что обе техники улучшают производительность в задачах поиска вне предметной области, а контекстуальная архитектура эффективнее традиционных эмбедингов в специализированных областях: финансах, юриспруденции и медицине.

Для практических экспериментов предлагается блокнот ipynb (https://github.com/weaviate/recipes/blob/main/weaviate-features/services-research/contextual_document_embeddings.ipynb) (или его версия для Google Collab (https://colab.research.google.com/drive/1r8xwbp7_ySL9lP-ve4XMJAHjidB9UkbL?usp=sharing)) в котором используется эмбединг-модель cde-small-v1 (https://huggingface.co/jxm/cde-small-v1) с 281 млн. параметров, получившая средний балл 65.00 в бенчмарке MTEB leaderboard (https://huggingface.co/spaces/mteb/leaderboard) в категории моделей до 400 млн. параметров. Этот блокнот научит создавать свои собственные эмбединги в контексте вашего набора данных или просто использовать модель как есть.

Модель (https://huggingface.co/jxm/cde-small-v1)

Arxiv (https://arxiv.org/pdf/2410.02525)

Ipynb блокнот (https://github.com/weaviate/recipes/blob/main/weaviate-features/services-research/contextual_document_embeddings.ipynb)

Google Collab (https://colab.research.google.com/drive/1r8xwbp7_ySL9lP-ve4XMJAHjidB9UkbL?usp=sharing)

Github (https://github.com/jxmorris12/cde)

Источник: github.com

Комментарии: