Машинное обучение в мешке. Как стартапы выдают за искусственный интеллект труд дешевых фрилансеров —

Помните стартап Theranos, который утверждал, что научился делать практически любые анализы крови всего лишь по одной капле крови, взятой из пальца, а на самом деле заказывал тесты в обычных лабораториях? Разоблачение Theranos потрясло биотех. А на рынке решений на основе искусственного интеллекта таким никого не удивить. Разработчики регулярно пытаются продать под видом ИИ труд аутсорсеров. Как распознать подлог, по просьбе The Bell объясняет Анастасия Десятова, директор по консалтингу «ABBYY Россия».

В конце июля инвесторы обсуждали громкое разоблачение стартапа ScaleFactor, который целых шесть лет выдавал за искусственный интеллект работу обычных бухгалтеров и за счет этого привлек $100 млн инвестиций. Это далеко не первый подобный случай. В прошлом году компания Engineer.ai погорела на том, что разработала приложения не с помощью ИИ, как утверждалось, а силами армии программистов из Индии. Даже гигантов ловили на подобном. Например, Amazon предлагал клиентам продукт «Умный дом» с интеллектуальным видеонаблюдением. А потом оказалось, что никакого ИИ там не было. Был украинский офис сотрудников на аутсорсе, которые вручную просматривали кадры с камер и выделяли мышкой объекты: деревья, машины и т.д.

Мы в ABBYY как-то столкнулись с обманутым заказчиком. Горе-подрядчик, с которым он сотрудничал, предложил готовое решение для автоматического распознавания бумажных документов с крайне сложными шрифтами и фоном. Чтобы уговорить заказчика на сделку, эти «эксперты» просто посадили 100 человек, их силами обработали небольшой массив документов и сказали, что все сделано с помощью ИИ. Когда же дело дошло до реального проекта на миллионы документов, заказчик с удивлением узнал, что технология еще не работает. Обратились за помощью к нашим специалистам, они проанализировали задачу, оказалось, что на обучение и настройку такого решения нужны как минимум несколько недель. У этой истории хороший конец: проект был реализован, хотя и с некоторым опозданием.

С мошенниками все понятно. Но зачем респектабельные вроде бы компании идут на обман?

40%

европейских AI-стартапов вводят инвесторов в заблуждение, следует из исследования MMC Ventures

Гудвин, великий и ужасный

Для подмены ботов людьми на Западе уже придумали термин: Wizard of Oz — по аналогии с циркачом Гудвином, который за ширмой управлял механизмами и вводил в заблуждение незадачливых зрителей. По данным последнего исследования британского венчурного фонда MMC Ventures, таких «гудвинов» немало: более 40% европейских компаний, позиционирующих себя как стартапы в сфере ИИ, на самом деле не имеют к нему отношения.

Одна из причин: так компании хотят получить доступ к данным заказчика, будь то документы, изображения, видео и так далее. Любое решение на базе машинного обучения требует большого количества размеченных данных, которые часто защищены коммерческой, банковской или другой тайной. Так, чтобы научить технологию автоматически относить документ к определенному типу и извлекать из него текст, нужны тысячи документов, на которых обозначено, что на них необходимо «увидеть». Для распознавания рукописного текста нужно значительное количество не просто букв, написанных от руки, а сочетаний букв в словах — например, чтобы «и» и «н» шли рядом.

Итак, стартап получает инвестиции, данные и потихоньку дорабатывает свою технологию. Например, так поступил разработчик Return Path. Компания предлагала сервис по автоматическому написанию ответов на письма. При этом никого не предупредили, что сообщения читают и пишут люди, а сами письма используются для разработки маркетингового софта. В мире повсеместной удаленки, хорошей связи, краудсорсинговых площадок легко собрать армию добровольцев и их руками наколачивать данные. Вот только бизнес в этом случае платит не только за псевдоавтоматизацию, но и за человеческие ошибки.

Как же распознать подлог? Ниже пять главных признаков «гудвинов».

Космическая скорость запуска

Когда уже упомянутый Engineer.ai заявил, что разработает с помощью ИИ приложение любой сложности всего за час, это уже звучало подозрительно.

Да, безусловно, существуют и типовые проекты в сфере интеллектуальных технологий. Запустить чат-бота, который текстом отвечает на однотипные вопросы пользователей, можно за несколько дней. За один-два месяца — если встречаются какие-то более сложные варианты ответа или переадресации. Но если вы планируете сложный проект, примеров которому раньше не встречали на рынке, то не стоит верить специалисту, который обещает реализовать проект за два дня.

Научить человека делать рутинную задачу (например, извлекать какие-то данные) легко. Наняли 40 аутсорсеров, объяснили, что из паспорта надо перепечатывать ФИО, дату рождения и прописку. Готово! Не нужно учить, что это за поля, как они выглядят — это гарантирует быстрый запуск: не надо ничего тестировать, разрабатывать, корректировать, делать обучающую выборку, если с первого раза что-то не получилось.

Научить ИИ извлекать что-либо из документа, видео или изображения гораздо сложнее. Конечно, существуют методы transfer learning: уже предварительно обученные нейросети, которые можно дорабатывать на ограниченном объеме данных под конкретный сценарий. Но в этом случае зрелые разработчики предоставляют дополнительные инструменты. В таких проектах обучение может происходить на стороне заказчика, он может сам отслеживать результаты и контролировать исход проекта.

Гарантия качества, 100%

Ни одна серьезная компания, которая работает в сфере ИИ, не станет обещать стопроцентную точность при обработке любых данных — будь то документы, фотографии людей или записи с камер видеонаблюдения. Технология может ошибаться, так как все зависит не только от алгоритма, но и от внешних условий.

Например, распознавание отпечатков пальцев хуже работает в дождь, на морозе, да и в более банальных ситуациях — например, если пользователь не помыл руки. Даже у самых продвинутых технологий распознавания лиц точность не идеальна, хотя и может достигать 99,99997%. Если подрядчик обещает достичь тех или иных показателей по качеству, в договоре он пропишет условия, при которых это будет возможно. К примеру, при автоматической классификации документов будут прописаны типы документов, поля, которые будут извлекаться, требования к качеству самих изображений.

Если же компания сразу гарантирует идеальное качество, то, скорее всего, результаты работы ее ИИ дополнительно проверяют вручную. Некоторые даже и не притворяются, а открыто признаются в этом. Например, так делает Cloudsight.ai: компания предлагает разработчикам веб-сайтов сервис, который размечает фотографии и изображения тегами. Большую часть работы действительно делает ИИ, но в случаях, когда программа сомневается, запрос в реальном времени уходит одному из 800 аутсорсеров в Индии, Юго-Восточной Азии и Африке. Это честно по отношению к заказчику: алгоритмы и люди работают в связке, чтобы улучшить конечный результат. Не случайно Cloudsight.ai — одна из немногих технологий, которая справляется с распространенной проблемой распознавания образов: не пытается увидеть овец на изображениях, на которых их нет.

Любой каприз за ваши деньги

Еще один тревожный сигнал: подрядчик сразу соглашается выполнить любые ваши хотелки. Чаще всего такие обещания дают молодые неопытные разработчики, которые плохо оценивают свои силы и ресурсы. Но иногда бывает и так, что ожидания от продукта изначально были завышены.

В свое время, например, многие отчасти разочаровались в возможностях технологии IBM Watson для медицинской диагностики. На этапе тестирования решение действительно впечатляло: в базах данных хранилась информация обо всех редких заболеваниях, и технология могла справиться даже со сложными случаями за считанные секунды. Но, когда компания начала внедрять свой продукт в медицинские организации, оказалось, что в процессе диагностики много исключений, к тому же врачи тратят больше времени, чтобы загружать информацию о пациентах в систему.

Опытный исполнитель, изучив техническое задание, задаст много вопросов. Более того, итоговое решение может сильно отличаться от проекта на старте: в ходе внедрения заказчик и исполнитель лучше понимают цели автоматизации, реальные возможности и ограничения технологий применительно к конкретному бизнес-процессу.

В результате предварительной оценки может даже выясниться, что ИИ в данном случае не нужен, а достаточно, например, по-другому организовать работу сотрудников.

Тайна, покрытая мраком

Если у компании есть обученная нейросеть, это значит, что она где-то смогла достать массивы данных. Может быть, это были данные других заказчиков. Может быть, использовались открытые источники. Если компания отказывается рассказать о данных, на которых она обучила свою технологию, ссылаясь на «секретность» и «уникальность», это тревожный знак.

Стоит отметить, что подобная таинственность характерна не только для ИИ-разработчиков, но и для технологических стартапов в целом. Наверное, самый громкий пример — Theranos. Основательница компании утверждала, что разработала технологию, которая позволяла получить точный анализ крови всего из нескольких капель. Технология, как утверждала Холмс, позволяла проводить более 200 анализов, но при этом никто не знал, как она работает. Оказалось, что большинство тестов компания делает на оборудовании сторонних производителей, а собственных разработок у нее нет.

В целом чем больше информации подрядчик предоставляет о своем продукте, тем лучше.

Человеческие ошибки в работе машины и проблема масштабирования

Хотя стереотипные роботы очень похожи на людей, мыслят, мечтают и действуют как человек, настоящие машины сильно от нас отличаются. Мы даже ошибаемся по-разному.

Технология никогда не спутает Петрова Ивана с Иваном Петровым и не сможет распознать 1931 год как 1913-й, хотя это типичные для человека ошибки, допущенные по невнимательности. Скорее, машина может распознать цифру 3 как 8, а Петрова Ивана — как Петр0ва ИваНа. Или может так случиться, что технология вообще не разберется, что за файл она обрабатывает, и выдаст ошибку. Так и разоблачили бухгалтеров из компании ScaleFactor, когда стали получать от них отчетность со множеством именно человеческих ошибок.

Еще один важный момент: обучить настоящий ИИ дольше и сложнее, чем людей, но при этом масштабировать такую систему можно очень быстро. Гораздо проще нарастить ядра процессора, мощности компьютера. Провернуть такой же трюк с людьми быстро не получится.

Если вам нужно перейти от обработки тысячи документов в день к миллиону, сделать это с помощью технологий не так уж и сложно. Если есть железо, то это несколько часов работы системного администратора. А нанять и быстро обучить людей в таком огромном количестве просто невозможно. Scalefactor как раз столкнулся с этой проблемой: привлекли много клиентов из малого и среднего бизнеса, но справиться со всей их бухгалтерской отчетностью не смогли. Как рассказывают 15 бывших сотрудников, компания избрала агрессивную стратегию продаж и высшим приоритетом сделала привлечение капитала, а не разработку программного обеспечения. Результат — ошибки и опоздания.

Анастасия Десятова

Источник: thebell.io

Комментарии: