Создаем прототип для Sentiment Analysis с помощью Python и TextBlob

Что важно для команды разработчиков, которая только начинает строить систему, базирующуюся на машинном обучении? Архитектура, компоненты, возможности тестирования с помощью интеграционных и юнит тестов, сделать прототип и получить первые результаты. И далее к оценке трудоемкости, планированию разработки и реализации.
В этой статье речь пойдет как раз о прототипе. Который был создан через некоторое время после разговора с Product Manager: а почему бы нам не «пощупать» Machine Learning? В частности, NLP и Sentiment Analysis?
«А почему бы и нет?» — ответил я. Все-таки занимаюсь backend-разработкой более 15 лет, люблю работать с данными и решать проблемы производительности. Но мне еще предстояло узнать, «насколько глубока кроличья нора».

Выделяем компоненты

Чтобы как-то очертить набор компонентов, реализующих логику нашего ML-ядра, взглянем на простой пример реализации сентимент-анализа, один из множества, доступных на GitHub.

import collections import nltk import os from sklearn import (     datasets, model_selection, feature_extraction, linear_model )  def extract_features(corpus):     '''Extract TF-IDF features from corpus'''     # vectorize means we turn non-numerical data into an array of numbers     count_vectorizer = feature_extraction.text.CountVectorizer(         lowercase=True,  # for demonstration, True by default         tokenizer=nltk.word_tokenize,  # use the NLTK tokenizer         stop_words='english',  # remove stop words         min_df=1  # minimum document frequency, i.e. the word must appear more than once.     )     processed_corpus = count_vectorizer.fit_transform(corpus)     processed_corpus = feature_extraction.text.TfidfTransformer().fit_transform(         processed_corpus)      return processed_corpus  data_directory = 'movie_reviews' movie_sentiment_data = datasets.load_files(data_directory, shuffle=True) print('{} files loaded.'.format(len(movie_sentiment_data.data))) print('They contain the following classes: {}.'.format(     movie_sentiment_data.target_names))  movie_tfidf = extract_features(movie_sentiment_data.data)  X_train, X_test, y_train, y_test = model_selection.train_test_split(     movie_tfidf, movie_sentiment_data.target, test_size=0.30, random_state=42)  # similar to nltk.NaiveBayesClassifier.train() model = linear_model.LogisticRegression() model.fit(X_train, y_train) print('Model performance: {}'.format(model.score(X_test, y_test)))  y_pred = model.predict(X_test) for i in range(5):     print('Review: {review} - Correct label: {correct}; Predicted: {predict}'.format(         review=X_test[i], correct=y_test[i], predict=y_pred[i]     )) 

1. Загрузка данных для обучения модели (строки 25-26)
2. Подготовка загруженных данных — feature extraction (строки 31-34)
3. Создание и обучение модели (строки 36-39)
4. Тестирование обученной модели и вывод результата (строки 41-45)

Готовим данные

Загружаем данные

Если говорить о прототипе, то загрузка данных из CSV/TSV файла элементарна. Вы просто вызываете функцию read_csv из библиотеки pandas:

import pandas as pd data = pd.read_csv(data_path, delimiter) 

1. Подключение к источнику данных – для CSV, в нашем случае это реализовано внутри функции read_csv;
2. Поддержка особенностей формата;
3. Предварительная подготовка данных.

import numpy as np # linear algebra import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv) import logging  log = logging.getLogger()  class CsvSentimentDataLoader():      def __init__(self, file_path, delim, text_attr, rate_attr, pos_rates):         self.data_path = file_path         self.delimiter = delim         self.text_attr = text_attr         self.rate_attr = rate_attr         self.pos_rates = pos_rates      def load_data(self):         # Здесь данные вычитываются из csv или tsv файла         data = pd.read_csv(self.data_path, self.delimiter)         data.head()         # Отбрасываются все колонки,         # кроме текста и классифицирующего атрибута                data = data[[self.text_attr, self.rate_attr]]         # Значения классифицирующего атрибута         # приводятся к текстовым значениям ‘pos’ и ‘neg’         data[self.rate_attr] = np.where(             data[self.rate_attr].isin(self.pos_rates), 'pos', 'neg')          return data 

Разделяем данные на тестовый и тренировочный наборы

Ок, мы загрузили данные, но нам их еще надо разделить на тренировочный и тестовый наборы.

Делается это функцией train_test_split из библиотеки sklearn. Эта функция может принимать на вход множество параметров, определяющих, как именно этот dataset будет разделен на train и test. Эти параметры значительно влияют на получаемые тренировочные и тестовые наборы, и, вероятно, нам будет удобно сделать класс (назовем его SimpleDataSplitter), который будет управлять этими параметрами и агрегировать в себе вызов этой функции.

from sklearn.model_selection import train_test_split # to split the training and testing data import logging  log = logging.getLogger()  class SimpleDataSplitter():      def __init__(self, text_attr, rate_attr, test_part_size=.3):         self.text_attr = text_attr         self.rate_attr = rate_attr         self.test_part_size = test_part_size          def split_data(self, data):         x = data[self.text_attr]         y = data[self.rate_attr]          x_train, x_test, y_train, y_test = train_test_split(             x, y, test_size = self.test_part_size)          return x_train, x_test, y_train, y_test  

Датасеты

Для обучения модели я использовал свободно доступные наборы данных в формате CSV:

• Amazon Alexa Reviews Data Set, можно найти на Kaggle
• Sentiment Labelled Sentences Data Set от Калифорнийского университета

import os import collections import logging from web.data.loaders import CsvSentimentDataLoader from web.data.splitters import SimpleDataSplitter, TdIdfDataSplitter  log = logging.getLogger()  class AmazonAlexaDataset():      def __init__(self):         self.file_path = os.path.normpath(os.path.join(os.path.dirname(__file__), 'amazon_alexa/train.tsv'))         self.delim = '	'         self.text_attr = 'verified_reviews'         self.rate_attr = 'feedback'         self.pos_rates = [1]          self.data = None         self.train = None         self.test = None      def load_data(self):         loader = CsvSentimentDataLoader(self.file_path, self.delim, self.text_attr, self.rate_attr, self.pos_rates)         splitter = SimpleDataSplitter(self.text_attr, self.rate_attr, test_part_size=.3)          self.data = loader.load_data()         x_train, x_test, y_train, y_test = splitter.split_data(self.data)          self.train = [x for x in zip(x_train, y_train)]         self.test = [x for x in zip(x_test, y_test)]  

Тренируем модель

Модель обучается довольно долго. И это надо делать один раз, при старте приложения.
Для этих целей был сделан небольшой враппер, позволяющий загрузить и подготовить данные, а также обучить модель в момент инициализации приложения.

class TextBlobWrapper():      def __init__(self):         self.log = logging.getLogger()         self.is_model_trained = False         self.classifier = None      def init_app(self):         self.log.info('>>>>> TextBlob initialization started')         self.ensure_model_is_trained()         self.log.info('>>>>> TextBlob initialization completed')      def ensure_model_is_trained(self):         if not self.is_model_trained:              ds = SentimentLabelledDataset()             ds.load_data()              # train the classifier and test the accuracy             self.classifier = NaiveBayesClassifier(ds.train)             acr = self.classifier.accuracy(ds.test)             self.log.info(str.format('>>>>> NaiveBayesClassifier trained with accuracy {}', acr))                         self.is_model_trained = True          return self.classifier 

Тестируем

При инициализации получаем лог, судя по которому, данные загрузились и модель была успешно обучена. Причем обучена с весьма неплохой (для начала) точностью – 0.8878.

    @loggingtestcase.capturelogs(None, level='INFO')     def test_classifier_on_separate_set(self, logs):         tb = TextBlobWrapper() # Going to be trained on Amazon Alexa dataset          ds = SentimentLabelledDataset() # Test dataset         ds.load_data()          # Check poisitives         true_pos = 0         data = ds.data.to_numpy()          seach_mask = np.isin(data[:, 1], ['pos'])         data = data[seach_mask][:100]          for e in data[:]:             # Model train will be performed on first classification call             r = tb.do_sentiment_classification(e[0])             if r == e[1]:                 true_pos += 1          self.assertLessEqual(true_pos, 100)         print(str.format('  True Positive answers - {} of 100', true_pos)) 

• Загружаем тестовые данные;
• Берем 100 записей с меткой ‘pos’
• Каждую из них прогоняем через модель и подсчитываем кол-во верных результатов
• Выводим итоговый результат в консоль

Результат

Меняем код и тест, запускаем

Итоги

Во-первых, получилось приложение с десятком классов и 200+ строк кода, что несколько больше исходного примера на 30 строк. И следует быть честным — это лишь наметки на структуру, первое прояснение границ будущего приложения. Прототип.

И этот прототип дал возможность осознать, насколько велика дистанция между подходами к коду с точки зрения специалистов по Machine Learning и с точки зрения разработчиков традиционных приложений. И в этом, на мой взгляд, заключается основная сложность для девелоперов, решивших попробовать машинное обучение.

Следующая вещь, которая может поставить новичка в ступор – данные не менее важны, чем выбранная модель. Это было наглядно показано.

Далее, всегда остается вероятность, что обученная на одних данных модель покажет себя неадекватно на других, или в какой-то момент ее точность начнет деградировать.
Соответственно, требуются метрики контроля состояния модели, гибкость при работе с данными, технические возможности скорректировать обучение на лету. И так далее.

Как по мне, все это следует учитывать еще при проектировании архитектуры и выстраивании процессов разработки.

В общем, «кроличья нора» оказалась не только весьма глубокой, но и чрезвычайно хитро проложенной. Но тем интереснее для меня, как разработчика, изучать эту тему в дальнейшем.