Незадача коммивояжера и жёлтый октябрь

2018-02-13 14:15

Главнокоммивояжер Аристарх поглядывал на Пророка, покручивая дубинкой от снежных троллей — ходовым сезонным товаром — 11% отклонение прогноза продаж на 10 дней в среднем (MAPE) впечатлило и, как у нас в чате говорят, зашло в роли baseline. Если он так же хорош, как и их Цукерберг, то сразу в прод — таков был первый порыв. Пророк поглядывал на главнокоммивояжера, прищурив правый глаз. Такой серьезный, в костюме, и верит в то, что инновации апплодисментами встретят и сразу же примут — мысль в голове вертелась, постепенно обретая форму. А Вы в курсе, юноша, скольким коллегам и контрагентам со своими нововведениями немилы станете? Они же Вас невзлюбят сразу, к гадалке не ходи! В общем, порыв жил обычным циклом инноваций.

В дисциплине управления проектами стейкхолдерами называют всех, кого проект коснется (а также тех, кто может оказать на него влияние). Люди они разные, со своими интересами, ожиданиями, и чаяниями. Закрыть глаза в надежде, что и проекта не заметят — весьма опрометчиво (вспоминается неприглашенная колдунья). Boston Consulting Group оценивает долю IT проектов, почивших по не-техническим причинам, в 75%. Последние две редакции свода знаний по управлению проектами (PMBOK) выделяют процессы по управлению стейкхолдерами в отдельную область знаний под счастливым номером 13 и настоятельно рекомендуют учитывать связи между ними, центры влияния, а также культуру общения для повышения шансов на успех.

Мы покажем, как оценить стейкхолдеров с помощью машинного обучения. Выделим группы похожих между собой людей и решим задачу кластеризации — сегментации клиентов в терминах маркетинга — в социальных структурах, которые построим из: 1) потоков сообщений и 2) эмоциональной окрашенности текста. Для этого заглянем в переписку, любезно предоставленную г-жей Клинтон, способом, предложенным в журнале Биоинформатика.

Постановка незадачи

Главнокоммивояжеру Аристарху предстоит внедрить современные информационные технологии в организации, частью которой он руководит непосредственно. Изменение существующих процессов — неизбежное следствие цифровой трансформации, в которую он ввязался. Давным давно в далекой галактике новинкам были рады, в честь инноваторов всякий раз устраивали вечеринки по поводу очередного рацпредложения, всем было весело и перемены заходили на ура.

На Земле — все иначе. Новшествам здесь не рады. И чаще всего противятся. Скопом.

Современный взгляд на управление изменениями базируется на работе Эверетта Роджерса, его книга "Diffusion of Innovations" (цитата заголовка содержания из гугл книг — сама по себе арт-объект) пережила пять редакций с 1962.

Наблюдение за процессом принятия инноваций в сельском хозяйстве — фермеры годами медлили с переходом к современным методам хозяйства и их поведение, странное с экономической точки зрения, озадачивало и даже досаждало исследователю. Изучать внедрение новшеств в реальном мире Роджерс начал в середине ХХ века, а до этого — служил в Корее в авиации, где изучал практические вопросы социологии. Все началось с гибридной кукурузы — распространение новых семян в двух популяциях фермеров из Айовы стало отправной точкой к условному разделению общества на инноваторов, ранних пользователей, раннего большинства, позднего большенства, и тормозов, а также — появлению роли агента изменений — самой важной из возможных ролей стейкхолдера (заинтересованного лица).

Модель распространения перемен в социальной сети практически не претерпела изменений и мы покажем, как применить классические и современные методы на практике для анализа стейкхолдеров.

Из-за того, что все стейкхолдеры — люди разные, на разных должностях, и с разными привычками, масштаб перемен будет различаться для индивидуумов. Лет пять назад на каком-то тренинге по управлению изменениями мне попала на глаза занятная формула, которая задает условия для достижения успеха:

A + B + C > D,

где:
A — недовольство текущим положением дел;
B — общее видение проблемы;
C — безопасное действие;
D — усилие, необходимое для перехода к новому положению дел.

Когда это неравенство выполняется для каждого стейкхолдера по-отдельности, перемены распространяются быстро и устойчиво. В противном случае — жди сопротивления.

Рецепт успеха прост: убедить каждого.

Да вот, незадача, Аристарх — один, а стейкхолдеров — уйма. Убеждать каждого по-отдельности — замаешься, а всех скопом собрать — толку мало, подход к директорам отличается от такового к работникам склада. С даром убеждения у главнокоммивояжеров все в порядке в силу должностных обязанностей, подход к каждому найдут, а вот времени — в обрез, продажи нужно двигать. Поэтому мы будем разделять популяцию на группы, участники которых максимально похожи между собой. Каждой группе Аристарх подготовит свое сообщение, сократив общие усилия на то, чтобы достучаться до сердца всякого.

Ограничим незадачу коммивояжера вопросом: "Как сегментировать стейкхолдеров?"

Незнание — сила

Не все кажущиеся очевидными вещи общеприняты и распространены везде.

Поначалу никто не информирован. Это важно помнить, потому что каждого стейкхолдера впереди эмоциональное путешествие. Вовлеченность, или готовность к сотрудничеству, меняется во времени.

Вот та модель (позаимствовано у SAP), которая в общем виде описывает вовлеченность (нужный нам качественный результат всех переживаний) отдельно взятого индивидуума, которого ваш проект коснется. Вначале о вас не знают ничего и спокойно делают свою работу, наслаждаясь текущим положением дел. Затем появляетесь вы, вместе с инновациями, будь-то кукуруза нового сорта, или машинное обучение, реакция одна — раздражение. 98% популяции невзлюбят вас сразу. Ненадолго, как это бывает — провели себе совещание, время потратили, да и забыли. Пообедали вкусно, да и досада улетучилась. На инноватора с его нововведениями примерно так же пофиг, как и до совещания.

Дальше — лучше.

Неизбежность перемен становится очевидной и грусть нарастает. Печальный стейкхолдер постепенно теряет интерес к происходящему (некоторые — лихорадочно пытаются выкрутиться, но это не помогает) и скатывается в состояние, которое в проектах внедрения SAP называют "долиной слёз" — паника, неверие, оцепенение, эмоциональные срывы — вот краткий перечень симптомов, которые я повидал лично.

Все там будут.

Наконец, до личности доходят выгоды от проекта, начинается сотрудничество. Вовлеченность растет. Ура, начинается продуктивная стадия взаимодействия! Построить позитивное отношение стейкхолдеров к проекту можно действуя в четырех направлениях: 1) установив эффективную структуру коммуникации информации о проекте; 2) поощряя нужное поведение; 3) управляя организационной структурой; и 4) навыками людей. Мне неизвестны примеры производителей информационных систем, уделяющие хоть сколько-нибудь сравнимое с таковым у SAP внимание организационным изменениям.

Мы рассмотрели динамику эмоций индивидуумов. С организацией — веселее.

Ситуация, когда всецело увлеченный проектом топ-менеджер радостно топает в столовку и сталкивается с хмурым руководителем среднего звена, только-только позавчера проникнувшимся оттенками светлого будущего, ведущим за собой угрюмых работников, находящихся на самом дне энтузиазма — закономерный результат пренебрежения законами природы и экономии на проведении организационных изменений.

Подарок шпионов

В 2008 году ЦРУ опубликовало 32-страничную брошюру 1944 года. Переведенный на множество языков, документ распространялся от Греции до Норвегии. Как парализовать работу режима максимально снизив эффективность всего? Советы актуальны и сегодня и в процессе внедрения инноваций многие практики проявляются в современных организациях. Бестселлер, что сказать.

Распространение инноваций и препоны, возникающие на их пути, интересует исследователей достаточно давно. В социальных науках принято размышлять о том, почему люди действуют определенным способом и есть даже отдельное направление исследовательской деятельности, основанное на традиционной статистике и социологических исследованиях. На мой взгляд, эта область деятельности ищет ответы на вопрос "Как люди рационализируют свой выбор?". Временами поставленные исследователями вопросы бывают толковыми и их действительно можно применять в реальном мире.

Вот, например, один из кратких списков причин сопротивления новому:

Гомеостаз: перемены для природы — неестественное состояние.
Бремя доказательств: презумпция в пользу сохранения статус-кво: доказывать свою правоту должны сторонники перемен.
Инерция: требуется значительная энергия, чтобы изменить курс.
Удовлетворенность: многим людям нравится существующее положение вещей.
Незрелость: предпосылки для перемен еще не созрели, время не пришло.
Страх: люди боятся неизвестного.
Собственные интересы: перемены могут быть хороши для других, но не для нас.
Недостаточная уверенность в себе: мы не готовы к новым вызовам.
Шок будущего: перемен слишком много, и мы начинаем им сопротивляться.
Тщетность: перемены представляются нам поверхностными, косметическими, иллюзорными. К чему суетиться?
Нехватка знаний: мы не знаем, как и что менять.
Человеческая природа: люди склонны к конкуренции, агрессивны, завистливы, эгоистичны, не склонны к альтруизму.
Цинизм: мы подозреваем, что у инициатора перемен свои интересы.
Порочность: перемены привлекательны, но мы боимся, что непредусмотренные последствия перемен будут опасными.
Гениальный индивид против групповой посредственности: те из нас, кого не отличает высочайший интеллект, не могут оценить мудрость перемен.
Амбиции: влиятельные люди не желают признать, что они ошибались.
Сиюминутная ориентация: люди хотят получить результат немедленно.
Близорукость: мы не способны увидеть, что в перспективе перемены полезны для нас.
Лунатизм: большинство из нас не понимают, какой дорогой идут.
«Снежная слепота»: групповое мышление, конформизм.
Коллективные фантазии: мы часто не учитываем реальный опыт и находимся в плену предвзятых мнений.
Внутригрупповой шовинизм: мы правы, а те, кто хочет перемен, — заблуждаются.
Заблуждение исключительности: перемены могут работать для других, но мы от них отличаемся.
Идеология: у нас разное мировоззрение и ценности.
Институционализм: индивиды могут меняться, а коллективы — нет.
Natura no facit saltum — Природа не любит скачков.
Добродетель сильных: кто мы такие, чтобы ставить под сомнение решения лидеров, которые выбрали нынешний курс.
У перемен нет опоры: меньшинство решительнее защищает статус кво, чем большинство — перемены.
Детерминизм: успешные перемены по плану невозможны — все идет естественным путем.
Научность: уроки истории — это наука, которая не имеет отношения к практике.
Привычка.
Деспотизм обычая: идеи агентов перемен воспринимаются как упрек обществу.
Бездумность.

(O'Tool, J. (1996). Leading change: The argument for values-based leadership)

А еще против перемен подружатся

Все те, чьи интересы затронет проект оптимизации, против него подружатся.

Сплочение коллектива перед лицом внешней угрозы — характерное свойство рода человеческого. История знает много примеров начала охоты на ведьм в трудные времена. Главное, что нужно знать — это то, что 1) существующие социальные связи будут влиять на то, как именно подружатся стейкхолдеры и 2) незадачу можно описать и измерить средствами теории графов.

Время классики

Теория графов — раздел дискретной математики, изучающий свойства графов. В общем смысле граф представляется как множество вершин (узлов), соединённых рёбрами. В строгом определении графом называется такая пара множеств G=(V,E), где V есть подмножество любого счётного множества, а E — подмножество V х V. Ребра могут быть ориентированными (направление сообщения) и неориентированными (участие в комитете), иметь вес (количество сообщений), или знак (дружба/вражда). Как узлы, так и ребра могут иметь дополнительные свойства, которые ограничиваются только фантазией и размером оперативной памяти.

В нашей текущей незадаче узлами будут те самые стейкхолдеры, которых нужно сделать довольными, а рёбрами — связи между ними.

Лирическое отступление про руководителей проектов

Забавный факт: руководители проектов регулярно пользуются элементами теории графов, но в большинстве своем не догадываются об этом. Например, сетевые диаграммы — один из способов отображения плана проекта, в них узлами выступают задачи, а рёбрами — взаимосвязи между работой, которых бывает четыре вида:

Finish-Start — последующая задача начинается после завершения предыдущей;
Start-Start — последующая задача начинается одновременно с предыдущей;
Start-Finish — последующая задача может завершиться только после начала предыдущей;
Finish-Finish — последующая задача может завершиться только после завершения предыдущей;

Практическая польза представления плана проекта в виде графа выражается в реализации метода критического пути и нахождения последовательности задач, задержки в которых приведут к неизбежному сдвигу конечной даты проекта, т.к. запаса времени на критическом пути не предполагается по определению. Задача решается, например, алгоритмом Дейкстры.

Исследование социальных сетей достаточно давно используется для описания отношений между людьми и до сих пор полученные графы анализировались по-отдельности.

Например, прекрасное во всех отношениях исследование альтруизма среди "ведьм" в китайских деревнях в сравнении с простыми крестьянами, показавшее, что разницы-то и нет, оперирует четырьмя графами связей, соответствующими различным видам взаимодействия:

Отношения между "ведьмами" (квадраты) и обычными крестьянами (круги) в одном из поселений: a) помощь в сельскохозяйственных работах, b) подарки, c) половые связи, d) биологическое родство.

Как это видно из рисунка, отношения между людьми формируются неоднородно — некоторым больше помогают, кого-то задаривают, а кто и популярен у противоположного пола более, чем прочие.

Не все стейкхолдеры одинаково полезны

Традиционный подход к классификации, рекомендуемый PMBOK, состоит в ранжировании по нескольким параметрам: сила, влияние проекта, заинтересованность — все эти измерения довольно субъективны и вопросом: "А кто кого заборет: главнокоммивояжер главносчетовода, или же завскладом всех сильнее?" я лично задаюсь уж несколько лет кряду.

Анализ социальных сетей (тех самы графов связей) позволяет оценить роль и важность отдельных личностей. Для этого используются метрики центральности, оценивающие узлы графа количественно.

Пример распределения метрик центральности для одного графа: A) Betweenness, B) Closeness, C) Eigenvector, D) Degree centrality.

Degree centrality — количество связей для каждого узла, для ориентированного графа выделяют входящие и исходящие связи, соответственно in-degree/out-degree. Метрика позволяет оценить, насколько "общителен" одельно взятый стейкхолдер.

Closeness centrality — оценивает среднее расстояние от каждого узла до всех прочих, здесь мерой расстояния является минимальное количество рёбер, по которым можно пройти между двумя узлами (кратчайший путь на графе). Метрика позволяет оценить, насколько быстро будет распространяться сообщение от отдельно взятого стейкхолдера.

Betweenness centrality — оценивает количество кратчайших путей, проходящих через узел. Метрика позволяет определить, через кого проходят потоки информации, например, и выявить, через кого из стейкхолдеров "договариваются" отделы.

Eigenvector centrality — оценивает, насколько узел связан с наиболее связанными узлами графа. Метрика позволяет выявить наиболее влиятельных стейкхолдеров.

Page Rank — оценивает вероятность нахождения случайного бродяги, гуляющего по рёбрам между узлами. Метрика является одной из самых важных в алгоритме ранжирования результатов поиска Google.

Приведенные метрики встроены в большинство пакетов для работы с графами (SAP BO, SNAP, Gephi, Pajek, NodeXL и прочие), и алгоритмы их вычисления достаточно дёшевы в плане вычислительной нагрузки. Можно держать все связи в уме, как я это делал в бытность руководителем проектов (голова от этого пухнет и болит), а можно взять и посчитать.

Практическая польза оценки центральности стейкхолдеров в том, что самые популярные узлы в сети — всегда на виду, и как только вам удасться договориться с ними о трансляции нужного сообщения (это может быть и смена поведения), то у прочих участников возникнет иллюзия того, что новые практики уже использует большинство. Возникнет сетевой эффект.

Главное, что нужно помнить — это Free Lunch Theorem (ни один оптимизационный алгоритм не является универсальным), поэтому на практике обыкновенно используют несколько метрик одновременно.

Разделяй и властвуй

Возвращаясь к вопросу сегментации, разделим его на два подвопроса: "Как разделить стейкхолдеров на группы?" и "Как повлиять на группы?" — первый важен потому что со всей массой общаться неэффективно, второй же нацелен на то, чтобы повысить шансы на доставку сообщения (и проведение необходимых перемен) за счет использования правильных людей на правильном месте в нужное время.

Разделение графа на кластеры, или задача нахождения оптимального сечения, основано на предположении о том, что в социальной сети есть группы, более плотно связанные внутри — у каждого узла в кластере большая часть связей должна быть внутри. Задача — не нова и алгоритмов для ее решения есть немало, один другого краше.

Самый простой способ оценки качества разделения — модулярность — мера сравнения количества ребер в полученных кластерах со случайным графом (модель Эрдоша-Рейни: узлы соединяются между собой случайным образом, так, чтобы средняя степень узла — количество связей — осталась неизменной).

Пример удачного разделения графа на кластеры, максимизирующий модулярность.

В полученных разделах можно выделить центральные узлы одним или несколькими обозначенными ранее методами — так мы получим список кандидатов на роль агента изменений, а можно пойти несколько дальше и попробовать проанализировать характер связей кандидатов и предсказать их шансы на успех.

Одно из первых масштабных исследований (Battilana, Julie, and Tiziana Casciaro. "Overcoming Resistance to Organizational Change: Strong Ties and Affective Cooptation." Management Science 59, no. 4 (April 2013): 819–836.), обобщившее 68 кейсов масштабных перемен в английских госпиталях, выделяет несколько правил успеха для агентов изменения:

сильные связи с нейтрально настроенными стейкхолдерами повышают шансы на успех — проще договориться и убедить, когда уже установлены отношения;
сильные связи с враждебно настроенными стейкхолдерами (а вы думали, инновациям все рады будут?) помогают лишь в случае незначительных перемен;
сильные связи с враждебно настроенными стейкхолдерами в случае масштабных перемен превращаются в обязательства (неудобно перед коллегами) и снижают вероятность успеха;
структура индивидуальной сети оказывает непосредственное влияние: шансы на успех выше у агентов перемен с разветвленными связями, и наоборот, если контакты агента влияния связаны между собой, то велика вероятность того, что они подружатся против нововведений.

Шансов у зеленого с синими больше, чем у красного с серыми.

До сих пор мы рассматривали методы и эвристики, позволяющие делать выводы на основании структуры связей между стейкхолдерами. Обычный подход к решению таких задач, как: 1) прогнозирование связей в будущем (Link Prediction Problem), 2) определение роли и популярности стейкхолдера, или 3) сегментации, заключался в создании признаков для узлов и рёбер вручную и последующем использовании классического алгоритма машинного обучения.

Времена меняются, вычислительная математика развивается. State of the art в области автоматического создания признаков из графов является работа node2vec, на базе которой и построено исследование, которое мы воспроизведём сегодня. Встречайте!

Метод Маринки Житник

Теории графов в этом году исполняется 300 лет без 18, и до сих пор предметом анализа были отдельные графы. Наш мир несколько сложнее и связи между узлами могут быть разного рода, да и узлы — разнотипными. Мне приходится по роду деятельности анализировать организации и одним родом связей в этом случае ну никак не обойтись.

Вопрос: "А как моделировать реальную организационную структуру?", заданный преподавателю в первый год моей второй магистратуры в далёком уже 2014, нашел ответ лишь летом 2017, за неделю до защиты диплома.

Статья в журнале Биоинформатика (Predicting multicellular function through multi-layer tissue networks. Marinka Zitnik and Jure Leskovec. Bioinformatics, 33, 14:i190-i198, 2017) предлагает новый подход к моделированию сложных систем. Идея в том, чтобы представить отношения между сущностями (в оригинальной работе это взаимодействия между протеинами в различных отделах мозга), а также иерархию отношений (структура мозга), и спроецировать их в многомерное пространство таким образом, чтобы связанные сущности размещались компактно.

Механику работы метода (а внутри — всё тот же случайный бродяга) отлично рассказывает Юре Лесковек в предпоследней лекции курса CS224W образца 2017 года.

Для нас важнее то, что теория графов — это универсальный уровень абстракции, оперирующий сущностями и их связями. Именно это свойство позволяет применить алгоритм из области биоинформатики к управлению проектами, достаточно лишь описать все те сети связей между стейкхолдерами.

А где данные брать-то?

Подходов к описанию социальных структур несколько и первый — социологические исследования. Графы, описывающие сотрудничество, доверие, уважение, можно построить, задавая вопросы, вроде:

С кем из коллег чаще всего взаимодействуете по работе?
К кому обращаетесь за советом?
Чьё мнение стоит учитывать при принятии решений?
Кто наверняка сделает работу вовремя?
Кто вдохновляет к свершениям?

Не все связи одинаково полезны, и существующие конфликты можно выявить и нанести на карту организации, расспрашивая:

А с кем работать тяжело?
От общения с кем хочется опустить руки?

Негативные связи, в целом, случаются гораздо реже, но их эффект — весьма разрушителен.

Можно задавать вопросы, а можно и без этого обойтись и выудить отношения из вороха данных, который создается в любой организации ежечасно. Например, информационные потоки, которые описывают наиболее привычный способ общения между людьми, можно добыть из:

Переписки — сети обмена электронными сообщениями достаточно давно являются предметом исследования, источником данных может быть электронная почта или средства обмена сообщениями.
Детализации телефонных звонков.
Логов пропускной системы — известно, что самые важные вещи обсуждают в курилке.

Важная информация о структуре существующих отношений может быть почерпнута из:

Органиграмм (формальная структура организации).
Потоков транзакций в ERP-системе — они фиксируют фактически происходящие операции.

Морально-этические аспекты

У читателя может сложится мнение, что рассмотренные методы воплощают опасения Оруэлла и я предлагаю бизнесам воплощать подобие Большого Брата всякий раз, когда возникает необходимость трансформации.

Так и есть.

В современном мире темп изменений нарастает, цифровая трансформация убивает бизнес-модели, и все это приводит к тому, что способность управлять переменами и гибкость организации становятся важными качествами для выживания.

Роль руководителя трансформируется.

Задачи планирования и контроля — традиционная область ответственности менеджера среднего звена — всё чаще реализуются в ERP-системах. Работа с людьми, наверное, — последний бастион. И в этом смысле я полагаю уместным сравнение значимости методов анализа социальных структур в управлении организацией с ролью рентгеноскопии в травматологии — можно ведь изменять организации, руководствуясь интуицией и богатым жизненным опытом, а можно и померять реальное состояние дел.

Памятка воспроизводителю

Привет, воспроизводитель!

Ты можешь повторить ход исследования и измерить незадачу коммивояжера самостоятельно. Этот навык пригодится при встрече с главнокоммивояжером, и ты блеснешь пониманием состояния дел. Померяешь незадачу – поделись результатом и личными впечатлениями.

Кроме того, по-прежнему разыскивается самый главнокоммивояжер.

А если ты, читающий эти строки, дослужился до высоких рангов и руководишь большими проектами, то ищи датасаентиста и будет тебе счастие.

Дерзай!

Разбор полетов или грабли коммивояжера

Главнодмины опасаются заглядывать в данные, и здесь я могу посоветовать собрать за одним столом главносчетовода с главнокомандующим и поставить вопрос примерно так: "Мы купили информационную систему за Х денег для того, чтобы содержать данные в порядке, применять лучшие практики, да анализировать происходящее с надеждой заглянуть в будущее. Единственный критерий успеха всей этой затеи — использование новинки в работе. Народ ерепениться будет, пока приучится. У главнодмина есть данные, которые позволят оценить неформальную структуру и выйти на ROI раньше."
Пророк работает с Python 3.5, a SNAP — c 2.7, и здесь возникает куча интересных вопросов по интеграции продуктивного решения в SAP Cloud Platform

Анонс: сцена четвертая, в которой мы вместе с Аристархом заглянем в /dev/null

(вот тот код, который делает всё описанное)

Источник: habrahabr.ru

Незадача коммивояжера и жёлтый октябрь

Комментарии: