Итоги эксперимента. Сходимости по ПР у компьютерных программ

Я сравнил сходимость по 6 основным ПР (логоэтика, сенсуиция, вертность, нальность, ительность и сходящесть) у двух частотных словарей: Типодрома и Фрика, и у нейросети Lost TIM.

Логоэтика: Типодром 68%, Фрик 64%, Lost TIM 65%

Сенсуиция: Типодром 62%, Фрик 70%, Lost TIM 69%

Вертность: Типодром 51%, Фрик 39%, Lost TIM 50%

Нальность: Типодром 58%, Фрик 54%, Lost TIM 49%

Ительность: Типодром 52%, Фрик 47%, Lost TIM 57%

Сходящесть: Типодром 64%, Фрик 43%, Lost TIM 57%

При этом нужно учесть, что высокая сходимость по сенсуиции у Фрика и Лостика связана с перекошенностью обучающей выборки в сторону писателей-интуитов, из-за которой они и большинство авторов типировали в интуитов. Если же сравнить их сходимость со случайной, то превышение сходимости над случайной оказывается довольно скромным.

Сходимость по вертности в этом эксперименте, похоже, плохая у всех: и у живых типировщиков, и у компьютерных. Видимо, это связано с некими систематическими проблемами с самотипированием у авторов.

Что касается остальных ПР:

- по логоэтике Фрик и Лостик чуть-чуть уступают Типодрому;

- по нальности Фрик и Лостик довольно сильно уступают Типодрому;

- по ительности Фрик типирует хуже Типодрома, а Лостик - лучше;

- по сходящести Фрик типирует намного хуже Типодрома, а Лостик - заметно хуже.

Похоже, у меня довольно хорошая обучающая выборка по логоэтике и ительности - хотя выборку по ительности можно улучшить. Выборка по сходящести - плохая, а по сенсуиции и нальности - совсем никуда не годится. Качество выборки по вертности оценить сложно, но, судя по сходимости по тестовой выборке писателей, оно тоже низкое.

Напомню, что сходимости по тестовой выборке писателей у Лостика были такие:

логоэтика - 75%

сенсуиция - 60%

вертность - 65%

нальность - 75%

ительность - 60%

сходящесть - 60%

А у Фрика - такие:

логоэтика - 75%

сенсуиция - 55%

вертность - 55%

нальность - 60%

ительность - 55%

сходящесть - 55%

Сходимости по логоэтике, вертности и нальности в тестовой выборке выглядят явно завышенными. Это можно объяснить двояко:

1) Проблемами с самотипированием у авторов конкурса (особенно для вертности), в отличие от русских писателей, которые были протипированы довольно надёжно.

2) Неосознанной подгонкой тестовой выборки под обучающую.

Сходимости по ительности и сходящести почему-то выглядят завышенными только у Фрика - у Лостика они близки в обеих тестовых выборках.

Комментарии: