Эффект самосбывающегося ошейника
Тюрьмы начали использовать ИИ для прогнозирования будущих преступлений заключённых, как сообщает Futurism.
Тюремная администрация перестала гадать о будущем человека и делегировала это вероятностной модели — теперь «риск заключённого» существует раньше, чем сам поступок.
Делегирование решает главную организационную задачу: некому нести ответственность. У прогноза нет подписи и нет лица, поэтому ошибка — это не решение и не событие, а «погрешность расчёта». Чиновник, ссылающийся на алгоритм, повторяет как мантру: я не назначал, модель посчитала.
Метка «рискованный» запускает замкнутый контур — меньше привилегий, чаще досмотры, строже режим, и среда сама выжимает из человека подтверждение прогноза. Поведение формируют условия, созданные той же меткой, а метка затем «оправдывается» этим поведением. Контур закрыт: система доказала собственную правоту собственными действиями.
Двигатель механизма — экономия внимания: живой надзор требует эмпатии, а число дёшево, масштабируемо и выглядит объективно. Я однажды спорил с блокировкой карты «по признакам подозрительной активности» — говорить было не с кем, причину не назовут, собеседника не существует. Тюремный прогноз устроен так же: возражать нечему, потому что возражать некому.
Механизм держится не на точности предсказания, а на размывании ответственности: модель забирает функцию решения и заодно обязанность отвечать за результат. «Особое мнение» оказалось не фантастикой, а инструкцией — решение о тебе принято до твоего появления в кабинете.