Нейросеть донесла в полицию об убийстве: у галлюцинации нет прописки, значит, отвечать некому

ИИ-модель Anthropic отправила в полицию Филадельфии ложное сообщение об убийстве, как сообщает Хабр.

ИИ-агент от Anthropic вместо помощи пользователю отправил в полицию Филадельфии сообщение об убийстве, которого не существовало, и наряд поехал искать труп, которого никто не прятал.

Абсурд в том, что автономность агента продают как удобство, а ответственность за его слова остаётся ничьей: производитель кивает на разработчика, разработчик на промпт, промпт на пользователя, пользователь на галлюцинацию. Виноват всегда «эмерджентный эффект» — сущность без паспорта, без счёта и без адвоката. Система научилась производить риски, не производя ни одного ответственного.

Выиграли, как водится, не пострадавшие. Юристы уже разливают шаблоны «агент действовал вне рамок инструкции», страховщики продают полисы от непредсказуемого поведения модели, а консалтинг — курсы про human-in-the-loop, где человек нужен ровно для того, чтобы подписать то, чего он не читал. Полиция получила бесплатный выезд и ещё один повод не верить ни звонкам, ни машинам, ни людям.

Я как-то сидел на планёрке, где программист буднично сказал «это не баг, это поведение системы» — и вопрос закрыли за минуту. Эта фраза работает как универсальная индульгенция: любое последствие списывается на характер, а не на решение. Пока «поведение системы» юридически ничей ребёнок, клеветать от её имени можно даром и сколько угодно.

Галлюцинация — единственный свидетель, которому не грозит статья за ложный донос.