Набор тьюториалов по использованию подходов NLP в химии

Мои коллеги из Эльзевир, Сабер и Камило, недавно сделали краткий обзор и хороший набор тьюториалов по использованию подходов анализа текстов (text mining) в химии. Этим материалом они хотели помочь программистам понять, как можно использовать их знания для химии. Но как по мне они сделали прекрасный набор тьюториалов, чтобы взять их за основу и поиграться со всякими трансформерами и химией.

В статье они покрыли (ООЧЕНЬ КРАТКО!) следующие вопросы:

Topic 1. Basic chemical notions and techniques.

Topic 2. Text mining in the chemistry domain.

Topic 3. Distributional models for (computational) chemistry.

Topic 4. Large language models and applications.

Но больше всего мне понравились тьюториалы. В тьюториалах у них есть:

1. Тьюториал по RDKit для чайников. Тьюториал: https://github.com/camilothorne/nlp-4-chemistry-lrec-2024/blob/main/notebooks/RDKit_demo.ipynb

2. Как зафайнтюнить BERT, чтоб классифицировал текст на химический, биологический или физический. Ноутбук: https://github.com/camilothorne/nlp-4-chemistry-lrec-2024/blob/main/notebooks/BERT_demo.ipynb

3. Как использовать GPT-2 натренированный на SMILES для генерирования молекул. Ноутбук: https://github.com/camilothorne/nlp-4-chemistry-lrec-2024/blob/main/notebooks/SMILES-GPT_demo.ipynb

4. Как использовать простые LLM для решения задач. Они использовали чтобы находить тексты с упоминанием побочки от лекарств. Они показывают как с помощью LLM можно решать простые zero-shot задачи (то есть без использования набора обучающих данных). Нотбук: https://github.com/camilothorne/nlp-4-chemistry-lrec-2024/blob/main/notebooks/LM-Harness_demo.ipynb

5. Как использовать T5Chem для предсказания реагентов или продуктов, и как анализировать модель. Тюториал: https://github.com/camilothorne/nlp-4-chemistry-lrec-2024/blob/main/notebooks/T5Chem_demo.ipynb

Как по мне проблема тьюториалов в том, что маловато объяснений, что и для чего делается. Так что периодически придется догадываться.

https://github.com/camilothorne/nlp-4-chemistry-lrec-2024/tree/main

Источник: github.com

Комментарии: