Попугай за миллиард: разоблачители «думающих» нейросетей кормятся с того же хайпа

Большие языковые модели не рассуждают, а предсказывают следующий токен, как сообщает MIT Tech Review.

Большая языковая модель не рассуждает — она статистически угадывает следующее слово, и весь спор упирается в то, кто первым признает, что добрая половина человеческих реплик устроена точно так же.

Разоблачение мифа о думающих нейросетях — такой же товар, как сам миф, просто с другой полки. Одни продают подписку на интеллект, другие — на трезвость, и оба потока питаются одной и той же дрожью публики, которая хочет услышать «всё под контролем». Выигрывает тот, кто успел побыть и пророком, и скептиком — на одной и той же конференции.

Абсурд в том, что от калькулятора вероятностей требуют ответственности за истину, которой не требуют от говорящей головы в студии. Претензия «она не понимает, что говорит» звучит из уст людей, не понимающих, что говорят, примерно в каждом втором интервью. Зато у людей есть намерение — как правило, удержать внимание до рекламной паузы.

Я как-то спросил модель, сколько букв «р» в слове «кролик», и получил уверенное «две». Ровно то же самое я слышал от живого редактора на планёрке — разница лишь в том, что редактор потом обиделся, а модель извинилась и снова ошиблась. Вот это и есть настоящая граница между угадыванием и мышлением: способность держать удар за свою ошибку.

Оценки в миллиарды строятся не на доказанном рассуждении, а на вере в то, что следующее слово можно предсказать достаточно хорошо. Пока вера держится, продавать можно и модель, и её разоблачение — рынок вмещает оба лота. Проигрывает только тот, кто ждал от статистики мудрости, а получил статистику.

Мышление — это когда следующее слово неочевидно и за него страшно. Модель этого не переживает, а мы делаем вид, что её уверенность что-то доказывает.