Что такое объяснимый ИИ?

МЕНЮ


Главная страница
Поиск
Регистрация на сайте
Помощь проекту
Архив новостей

ТЕМЫ


Новости ИИРазработка ИИВнедрение ИИРабота разума и сознаниеМодель мозгаРобототехника, БПЛАТрансгуманизмОбработка текстаТеория эволюцииДополненная реальностьЖелезоКиберугрозыНаучный мирИТ индустрияРазработка ПОТеория информацииМатематикаЦифровая экономика

Авторизация



RSS


RSS новости


2022-09-16 07:21

ИИ теория

Объяснимый ИИ означает, что люди могут понять путь, который ИТ-система выбрала для принятия решения. Давайте разберем эту концепцию на простом английском языке и выясним, почему она так важна

Искусственному интеллекту не нужно никакого дополнительного топлива для мифов и заблуждений, которые его окружают. Рассмотрим фразу “черный ящик” – ее коннотации в равной степени таинственны и зловещи, материал “Секретных материалов” больше, чем повседневный бизнес.

Тем не менее, это правда, что системы искусственного интеллекта, такие как машинное обучение или глубокое обучение, принимают входные данные, а затем выдают выходные данные (или принимают решения) без поддающихся расшифровке объяснений или контекста. Система принимает решение или предпринимает какие-то действия, и мы не обязательно знаем, почему или как она пришла к такому результату. Система просто делает это. Это модель черного ящика искусственного интеллекта, и она действительно загадочна. В некоторых случаях использования это просто прекрасно. В других контекстах это звучит довольно зловеще.

“Для таких мелочей, как чат-боты на базе искусственного интеллекта или анализ настроений в социальных сетях, на самом деле не имеет значения, работает ли система искусственного интеллекта в черном ящике”, - говорит Стивен Блюм, технический директор и соучредитель PubNub. “Но для случаев использования с большим воздействием на человека – автономные транспортные средства, воздушная навигация и беспилотные летательные аппараты, военное применение – способность понимать процесс принятия решений имеет решающее значение. Поскольку мы все больше и больше полагаемся на ИИ в нашей повседневной жизни, нам нужно уметь понимать его "мыслительный процесс" и со временем вносить изменения и улучшения ”.

Введите объяснимый ИИ – иногда известный под аббревиатурой XAI или аналогичными терминами, такими как интерпретируемый ИИ. Как следует из названия, это ИИ, который может быть объяснен и понят людьми, хотя это несколько упрощенный способ, гм, объяснения объяснимого ИИ.

Вот более точное определение из нашего недавнего исследовательского отчета HBR Analytical Services “Руководство руководителя по реальному ИИ”: “Методы машинного обучения, которые позволяют пользователям-людям понимать ИИ, надлежащим образом доверять ему и эффективно управлять им. Различные организации, в том числе Агентство перспективных исследовательских проектов Министерства обороны, или DARPA, работают над этим”.

[ Какие из проблем вашей организации мог бы решить искусственный интеллект? Узнайте о реальных уроках, извлеченных ИТ-директорами, в новом отчете HBR Analytical Services, руководстве для руководителей по реальному ИИ. ]

Слово “доверие” имеет решающее значение, но давайте вернемся к этому чуть позже. Мы попросили Блюма и других экспертов по ИИ поделиться объяснимыми определениями ИИ и объяснить, почему эта концепция будет иметь решающее значение для организаций, работающих с ИИ в различных областях, от финансовых услуг до медицины. Этот опыт может укрепить ваше собственное понимание, а также понимание вашей команды и помочь вам помочь другим сотрудникам вашей организации понять объяснимый ИИ и его важность. Давайте начнем с определений.

Объяснимый ИИ, определенный на простом английском языке

“Термин "объяснимый ИИ" или "интерпретируемый ИИ" относится к тому, что люди могут легко понять с помощью динамически генерируемых графиков или текстовых описаний путь, пройденный технологией искусственного интеллекта для принятия решения”. – Кит Коллинз, исполнительный вице-президент и директор по информационным технологиям, SAS

“Объяснимый ИИ можно приравнять к "демонстрации вашей работы" в математической задаче. Все процессы принятия решений ИИ и машинного обучения происходят не в "черном ящике" - это прозрачный сервис, созданный с возможностью анализа и понимания людьми–практиками. Чтобы добавить "объяснение" к выходным данным, ключевым моментом является добавление сопоставления ввода/вывода.” – Стивен Блюм, технический директор и соучредитель PubNub

“Объяснимый ИИ - это то, где мы можем интерпретировать результаты ИИ, имея при этом возможность четко вернуться назад, от результатов к входным данным, по пути, который ИИ выбрал для получения результатов”. – Фани Нагарджуна, директор по аналитике, Сазерленд

“Объяснимый ИИ - это приложение для машинного обучения или искусственного интеллекта, которое сопровождается легко понятными рассуждениями о том, как оно пришло к тому или иному выводу. Будь то упреждающий дизайн или ретроспективный анализ, используются новые методы, чтобы сделать черный ящик ИИ менее непрозрачным ”. – Эндрю Матуро, аналитик данных, SPR

“Объяснимый ИИ в простых терминах означает ИИ, который прозрачен в своих операциях, чтобы люди-пользователи могли понимать решения и доверять им. Организации должны задать вопрос: можете ли вы объяснить, как ваш ИИ генерировал это конкретное понимание или решение?” – Мэтт Санчес, основатель и технический директор CognitiveScale
Почему объяснимый ИИ имеет значение

Вопрос Санчеса порождает другой: Почему это имеет значение? Причин множество, и они потенциально имеют огромные последствия для людей, бизнеса, правительств и общества. Давайте еще раз рассмотрим термин “доверие”.

Хина Пурохит, старший менеджер по продуктам IBM Watson IoT, отмечает, что искусственный интеллект, который IBM называет “дополненным интеллектом”, и машинное обучение уже отлично справляются с обработкой огромных объемов данных зачастую сложным способом. Но цель ИИ и ОД, по словам Пурохита, состоит в том, чтобы помочь людям быть более продуктивными и принимать более разумные и быстрые решения, что гораздо сложнее, если люди понятия не имеют, почему они принимают эти решения.

“Поскольку цель ИИ - помочь людям принимать более эффективные решения, бизнес осознает истинную ценность решения ИИ, когда пользователь меняет свое поведение или предпринимает действия на основе результатов ИИ [или] прогноза”, - говорит Пурохит. “Однако для того, чтобы заставить пользователя изменить свое поведение, ему придется доверять предложениям системы. Это доверие создается, когда пользователи могут чувствовать себя уполномоченными и знать, как система искусственного интеллекта разработала рекомендацию [или] результат ”.

С точки зрения организационного лидерства, объяснимый ИИ в некотором смысле заключается в том, чтобы заставить людей доверять этим новым системам и покупать их, а также в том, как они меняют способ нашей работы.

“Увидев, что проблема с ”черным ящиком ИИ" сохраняется в первые дни, я теперь гарантирую, что наши решения ИИ объяснимы", - добавляет Пурохит. “Вопрос, который я задаю себе при разработке продуктов с искусственным интеллектом, чтобы обеспечить объяснимость ИИ, заключается в следующем: позволяет ли ваш ИИ людям легко воспринимать, обнаруживать и понимать его процесс принятия решений?”

Объяснимый ИИ может помочь с предвзятостью ИИ и аудитом

Объяснимый ИИ будет иметь все большее значение в других областях, где важны доверие и прозрачность, например, в любом сценарии, когда предвзятость ИИ может оказать вредное воздействие на людей.

“Хотя задача возврата объяснений может быть обременительной, это стоящее дело, которое часто может выявить предубеждения, встроенные в модели”, - говорит Матуро из SPR. “Во многих отраслях такая прозрачность может быть юридическим, финансовым, медицинским или этическим обязательством. Везде, где это возможно, чем меньше модель кажется волшебной, тем больше она будет принята ее пользователями”.

[ Как вы можете защититься от предвзятости ИИ? Читайте также Предвзятость в отношении искусственного интеллекта: 9 вопросов, которые следует задать ИТ-лидерам. ]

Объяснимый ИИ также важен для подотчетности и проверяемости, которые будут (или, по крайней мере, должны) по-прежнему принадлежать сотрудникам организации, а не ее технологиям.

“В конце концов, вы будете нести ответственность за принятое решение. Просто делать то, что рекомендует алгоритм, - не очень убедительная защита”, - говорит Моше Кранц, технический директор Ness Digital Engineering. Кранц также отмечает, что объяснимый ИИ имеет решающее значение для выявления неточных результатов, которые возникают из-за таких проблем, как предвзятые или неправильно настроенные данные обучения и другие проблемы. Возможность отследить путь, по которому система искусственного интеллекта пришла к плохому результату, помогает людям устранить основные проблемы и предотвратить их повторение.

“Искусственный интеллект не идеален. И хотя прогнозы искусственного интеллекта могут быть очень точными, всегда найдется [возможный] случай, когда модель окажется неверной”, - говорит Джи Ли, директор по науке о данных CLARA analytics. “Благодаря объяснимости технология искусственного интеллекта помогает людям принимать быстрые, основанные на фактах решения, но при этом позволяет людям по-прежнему использовать свое суждение. С помощью объяснимого ИИ ИИ становится более полезной технологией, потому что вместо того, чтобы всегда доверять прогнозам или никогда не доверять им, люди помогают улучшать прогнозы каждый день ”.

Действительно, объяснимый ИИ в конечном счете направлен на то, чтобы сделать ИИ более ценным в бизнес–контексте и в нашей повседневной жизни, а также предотвратить нежелательные результаты.

“Объяснимый ИИ важен для бизнеса, потому что он дает нам новые способы решения проблем, надлежащего масштабирования процессов и минимизации возможности человеческой ошибки. Улучшенная видимость помогает улучшить понимание и качество обслуживания клиентов”, - говорит Коллинз, ИТ-директор SAS.

Коллинз отмечает, что это особенно важно в регулируемых компаниях, таких как здравоохранение и банковское дело, которые в конечном итоге должны иметь возможность показывать, как система искусственного интеллекта пришла к определенному решению или результату. Но даже в отраслях, которым не нужно будет проводить аудит своего ИИ на предмет соответствия нормативным требованиям, доверие и прозрачность, лежащие в основе объяснимого ИИ, стоят того. Они также имеют хороший деловой смысл.

“Мы говорим, что искусственный интеллект увеличивает человеческий опыт. В случае объяснимого ИИ люди расширяют знания и опыт технологии, чтобы корректировать и укреплять аналитические модели для будущего использования”, - говорит Коллинз. “Человеческие знания и опыт помогают технологиям учиться, и наоборот. Это непрерывный цикл обратной связи, который может стать динамичным активом для бизнеса”.


Источник: rusrim.blogspot.com

Комментарии: