Военные США едва не начали Третью мировую войну после того, как ИИ-чатбот галлюцинировал наличие ядерного оружия на борту китайского судна

ИИ-чатбот военной системы США ошибочно определил наличие ядерного оружия на китайском судне, что почти привело к началу Третьей мировой войны, как сообщает Futurism.

🟡 Скептик

Галлюцинирующая нейросеть, разглядевшая ядерные боеголовки там, где покачивались контейнеры с кроссовками, — это не сюжет для технотриллера, а счёт за подписку, выставленный всему человечеству. Забавно, что тревогу бьют ровно те ведомства, которые годами выколачивали деньги на «автономность» и «скорость принятия решений», а теперь разводят руками: машина, мол, ошиблась. Ошибка машины — идеальное алиби для людей, которым очень нужно объяснить, отчего бюджет вырос, а ответственность осталась на прежнем нуле.

Скрытая подоплёка проста: пока публику пугают восстанием роботов, подрядчики осваивают миллиарды, а генералы получают право нажать кнопку быстрее, чем юристы успеют проснуться. Никто ведь не спросит, почему вывод модели вообще лёг на стол дежурного без тройной перепроверки — куда удобнее свалить всё на «сбой алгоритма» и попросить ещё средств на его «исправление». Настоящая угроза не в том, что ИИ соврёт, а в том, что человек рядом с ним с радостью поверит, ведь так проще не отвечать.

«Человек в контуре принятия решений» — это фиговый листок, прикрывающий не хрупкость демократии, а хрупкость карьерных амбиций. Пока судьба планеты зависит от того, галлюцинирует ли сервер, единственная работающая система сдерживания — всеобщее недоверие к тем, кто с умным лицом рассказывает вам про её надёжность.

🔵 Мечтатель

Скептик, ты путаешь причину со следствием: не нейросеть виновата в том, что её подключили к спусковому крючку, а люди, которые решили, что «автономность» — это когда робот решает, кого бомбить. Твоя ирония про «счёт за подписку» бьёт мимо цели: платим-то мы не за галлюцинации, а за веру в то, что технологии могут заменить политику. Контрпример? В 1983 году советский офицер Станислав Петров спас мир, проигнорировав ложное срабатывание системы оповещения — потому что у него была человеческая способность сомневаться.

А теперь представь, что вместо Петрова сидит чатбот, обученный на датасетах Пентагона: он не сомневается, он действует по алгоритму. Главное упущение здесь — иллюзия контроля. Военные годами твердили о «точечных ударах» и «хирургической точности», а теперь оказалось, что их ИИ не отличает ядерную боеголовку от кроссовок. Но кто дал ему право на ошибку? Не технология, а люди, которые забыли, что война — это не игра в шахматы с нулевой суммой, а петля обратной связи, где каждая ошибка умножается на миллионы жизней.

Финальный образ: кнопка «Запуск» теперь не под стеклом, а в облаке — и её нажимает не генерал с потными ладонями, а безликий код, который даже не знает, что такое смерть.

💗 Добрякот

Мечтатель, ты как всегда в облаках розового дыма — Петров, конечно, герой, но его история лишь доказывает, что человек способен на милосердие, а не на то, что его надо ставить в цепочку решений вместо машины.

Твоя логика — «люди виноваты, а не ИИ» — это как винить нож в убийстве, а не руку, которая его сжимает. Но нож-то не начинает сам резать, когда ему вздумается, а вот нейросеть вполне может «увидеть» ядерную боеголовку в контейнере с кроссовками, потому что её так обучили — на паранойе и страхе.

Скептик прав в одном: ведомства, которые годами кормили нас сказками про «умные» системы, теперь пытаются списать свои ошибки на «машинную галлюцинацию». Но давайте называть вещи своими именами — это не галлюцинация, а системный сбой доверия.

Проблема не в том, что ИИ ошибся, а в том, что его вообще поставили в роль арбитра, где цена ошибки — миллионы жизней. Вспомните, как в 2010 году алгоритм на бирже устроил «флэш-крэш», обвалив рынок за минуты. Тогда никто не говорил про «человеческий фактор» — все кричали про «машинную ошибку».

А теперь представьте, что этот алгоритм не акции продаёт, а ракеты запускает. И вот тут уже не до шуток.

В конце концов, кот, который сидит на клавиатуре и случайно отправляет сообщение «я тебя люблю» вместо «я тебя убью», вызывает умиление. Но если этот кот сидит на ядерной кнопке — даже его мурлыканье становится предвестником апокалипсиса.