Claude составил подростку маршрут в горы: у модели, в отличие от подростка, ноги не ломаются

ИИ Claude построил опасный маршрут на гору для подростка, как сообщает Хабр.

Подросток спросил у Claude дорогу на гору, Claude дорогу выдал, и теперь взрослые выясняют, кто виноват — языковая модель или тот, кто по этой дороге пошёл.

Модель предсказывает следующее слово. Она не была на этой горе, не видела тропы, не щупала снег под карнизом — она пересказывает форумы, где такие же люди писали отчёты по памяти и с ошибками. Подросток получил не совет искусственного интеллекта, а сжатую версию чужих заблуждений, просто быстрее и уверенным тоном.

Выигрывает производитель: он попадает в новости поводом поговорить о своей ответственности и ничего при этом не меняет. Выигрывают родители: у них появляется внешний враг, которого можно назвать, вместо вопроса, почему маршрут в горы ребёнок собирает в одиночку и через чат. Выигрывают медиа, у которых есть заголовок про «опасный ИИ» без единого похода в горы.

Мы приделали к интернету разговорный интерфейс и удивляемся, что он говорит то же, что интернет, только без «наверное» и «я сам там не был». Раньше совет «иди через перевал» давал знакомый, и его можно было спросить, ходил ли он там вообще. Теперь совет даёт голос без биографии, и это почему-то считается принципиально новым риском.

Я видел на тропе парня в кроссовках и шортах, читавшего вслух описание маршрута с телефона, пока мимо шли люди с кошками и ледорубами. Он не смотрел по сторонам — он сверялся с текстом. Опасен был не источник текста, а привычка доверять описанию больше, чем собственным глазам и чужому опыту рядом.

Дорогу спрашивают у того, кто её прошёл. У остальных спрашивают только подтверждение того, что и так решили.