Понимание показателей оценки ML-точности и отзыва

Учитывая эти цифры, наша точность составляет 94,5%

Несмотря на то, что это кажется большим числом, он все еще оставляет много пациентов, восприимчивых к экстремальным потерям. Возьмем, к примеру, ложноотрицательных (FN) пациентов. Эти 10 человек были бы освобождены, что врач дал им чистый чит, в то время как рак будет причинять вред в то же время.

Именно здесь приведенная выше терминология приходит нам на помощь.

Точность говорит нам, насколько важны положительные обнаружения. Чем выше точность, тем лучше наш механизм обнаружения. например, в нашем примере точность составляет всего 10%, что очень плохо. Мы неправильно классифицируем многих здоровых пациентов как больных раком.

Точность-это только часть картины. Другой способ взглянуть на наши данные - это вспомнить. Вспоминание-это то же самое, что и чувствительность.

Они говорят нам, какой процент фактических положительных результатов обнаружен. т. е. какой процент реальных онкологических больных выявляется. Он вычисляется путем взятия отношения правильно идентифицированных больных раком (истинные положительные) к общему числу больных раком (истинные положительные + ложные отрицательные).

Это означает, что мы можем правильно определить только 33% от общего числа онкологических больных. Это плохо!

Специфичность говорит нам, насколько хороша система при удалении ложных тревог. Он вычисляется путем взятия отношения пациентов, которые правильно обнаружены, чтобы не иметь рака (истинные негативы) ко всем пациентам, которые не имеют рака (истинные негативы + ложные положительные).

Мы можем отсеять ложные срабатывания в 99,5% случаев. Это очень хорошо.
Так что же говорят нам эти цифры?

Высокая точность + высокий отзыв-модель прогнозирования (т. е. врач в нашем случае) очень надежна. Модель не ошибается в классификации здоровых пациентов И не оставляет без внимания больных раком

    Низкий отзыв + высокая точность-это просто означает, что модель очень придирчива. Он не генерирует много ложных срабатываний, но пропускает много реальных пациентов с раком. Такие модели не могут быть использованы для жизненно важных данных, таких как обнаружение рака, идентификация террористов, предотвращение несчастных случаев и т.д.

    Высокий отзыв+ низкая точность-модель способна обнаружить большинство положительных моментов хорошо, но в конечном итоге создает много ложных тревог. Такие модели не должны использоваться в тех случаях, когда ложные тревоги имеют огромную стоимость - например, системы посадки самолетов, системы управления толпой, системы прогнозирования войны и т. д. Отметим, что такие модели могут работать в критических жизненных ситуациях. Все же лучше классифицировать несколько здоровых пациентов как больных раком, чем наоборот.

Излишне говорить, что когда оба они низки, модель довольно бесполезна.
Когда мы используем эти показатели?
Дорогостоящие ложные негативы

Допустим, у нас есть больные раком молочной железы. Мы не хотели бы оставить незамеченным ни одного пациента. Мы все еще можем позволить себе иметь некоторые из здоровых, обнаруженных для Рака. Дальнейшие испытания всегда выявляют истинную природу в таких случаях. Но специально для таких сценариев мы должны смотреть как на чувствительность, так и на специфичность и стараться иметь высокую чувствительность.
Дорогостоящие ложные срабатывания

С другой стороны, скажем, у нас есть судья, который решает, должен ли обвиняемый быть наказан или нет. В этом случае мы не можем позволить себе ложные срабатывания. Закон гласит, что”мы можем оставить 10 преступников безнаказанными, но мы не можем осудить невиновного человека". Такие случаи требуют высокой конкретизации.
Неактуально истинно отрицательные

Google показывает нам миллионы результатов для одного поискового запроса. Он очень заботится об истинных положительных результатах (т. е. веб-странице, которая соответствует нашему запросу), но также допускает некоторые ложные положительные результаты (т. е. Результаты поиска, которые не относятся к нашему запросу). Google, конечно, не заботится об истинных негативах (Результаты поиска, которые он не показывал и не имел значения.

TL;DR

    Точность-процент правильных прогнозов
    Точность - насколько релевантны положительные стороны
    Напомним-то же, что и чувствительность
    Чувствительность - % от обнаруженных фактических положительных результатов
    Специфика — насколько хорошо мы можем избежать ложных тревог

X8 стремится организовать и построить сообщество для ИИ, которое не только является открытым исходным кодом, но и рассматривает этические и политические аспекты этого. Мы публикуем статью о таких упрощенных концепциях ИИ каждую пятницу. Если вам понравилось это или есть какие-то отзывы или последующие вопросы, пожалуйста, прокомментируйте ниже.

Спасибо за чтение!