Технологии Наука Космос Культура Бизнес Абсурд Общество Стиль жизни Кино Ехидные уведомления

Семь способов обмануть себя метриками — и ни одного способа не обмануть выпускника

Семь способов обмануть себя метриками — и ни одного способа не обмануть выпускника

Инженер разобрал семь способов обмануть себя метриками на примере ИИ-проверки работ ЕГЭ, как сообщает Хабр.


Инженер честно разобрал семь приёмов, которыми метрика обманывает саму себя на ИИ-проверке ЕГЭ. На этом месте принято хвалить за прозрачность, но список читается иначе: каждый из семи приёмов — не изъян, а несущая конструкция.

Эталоном для модели служит оценка живого эксперта, а эксперты расходятся между собой на одних и тех же сочинениях. Значит, модель обучают не истине, а среднему мнению людей, отработавших смену. Проверять сочинение ИИ учится у тех, кто сам не уверен, что правильно. Единственное, что удаётся измерить точно, — это вежливость совпадения.

Классика жанра: если в потоке мало работ с ошибками, модель, всегда отвечающая «всё чисто», показывает превосходную точность. Её не наказывают за слепоту — её награждают за осторожность. Видел таблицу, где колонку «проверено ИИ» заполняли вручную: так удобнее, и метрика сходится.

Выигрывает тот, кому нужна цифра наверх, а не разбор работы. Региону нужен отчёт, разработчику — следующий контракт, и обоим требуется число, которое не стыдно показать. Проверка знаний оказалась побочным продуктом отчётности. Причём отчётность хотя бы кто-то читает.

Выпускнику и его родителю остаётся низшая ступень: апелляция против метрики, у которой нет ни кабинета, ни телефона. Спорить с числом нельзя — у него нет автора, зато есть точность. А точность, как известно, тем выше, чем меньше от неё требуют.

Точность — это когда проверяющий согласился с проверяющим, а расплачивается всё равно выпускник.