Эффект машинного доноса: система ошиблась — доказывай, что не вор

Системы ИИ-распознавания лиц с ошибками массово обвиняют невиновных людей в кражах в магазинах, как сообщает Futurism.

Алгоритм распознавания лиц делает то, что раньше требовало доносчика: указывает пальцем, после чего человеку приходится доказывать, что он не вор.

Сотрудник у выхода не знает, как устроена система, — он видит на экране метку „совпадение“ и действует по инструкции: задержать, вызвать, зафиксировать. Технология здесь работает как авторитет: несогласие с ней выглядит не как спор с ошибкой, а как спор с объективностью. Исполнитель отправляет ответственность дальше по цепочке, и цикл замыкается без единого человека, способного ответить за решение.

Дальше включается асимметрия издержек: для магазина ложное срабатывание — строка в логе, для задержанного — потерянные часы, полиция, неловкость перед случайными свидетелями. Эти издержки нигде не учитываются: у системы нет обратной связи, которая фиксировала бы чужой дискомфорт как убыток. Ошибка, отсутствующая в отчётности, статистически не существует — а значит, может повторяться ещё и ещё.

Меня пару раз в месяц останавливает рамка на выходе из супермаркета: прибор, купленный в другом месте, „запрещён к проносу“, кассир машет рукой — глюк, идите. Разница в том, что у рамки есть лицо, способное махнуть рукой и пропустить. У распознавания такого лица нет — спорить можно только с фактом, что тебя уже записали.

Триггер запуска двойной: страх розницы перед кражами и вера в то, что машина объективнее человека. Каждая история, закрывающаяся „извините, сбой“, укрепляет механизм: толпа усваивает, что задержать могут кого угодно, а ответственности за это не предусмотрено. Ядро механики простое: система не исправляется — она перекладывает цену ошибки на единицу, не фигурирующую в её учёте, и задержанный работает бесплатным тестировщиком, а его оправдания — её отладкой.