Входят в число лучших — список лучших, разумеется, свой
Сбер заявил, что две его флагманские языковые модели входят в число лучших в мире, а открытые рейтинги показывают более низкие позиции этих моделей, как сообщает Хабр.
Сбер заявил, что две его флагманские модели входят в число лучших в мире, — формулировка до того резиновая, что в неё помещается и первая строчка, и сотое место. Открытые рейтинги при этом рисуют картину скромнее, и это не противоречие, а жанр.
Открытый рейтинг — не истина, а набор задач, и место в нём зависит от того, кто и по каким задачам считает. Пока одни меряют по чужим тестам, другие меряют по своим — и в своих, разумеется, побеждают. «В числе лучших» без числа — это не результат, а диапазон от первого места до последнего.
Выигрывает отдел маркетинга: фразу невозможно опровергнуть, зато её удобно цитировать. Журналист перепечатывает «в числе лучших», читатель запоминает «лучшие», а сверка с таблицей требует усилий, которых у читателя нет. Так пресс-релиз становится источником, а рейтинг — сноской, которую никто не открывает.
Абсурд в самом споре: обсуждают не качество моделей, а право выбрать линейку. Любая корпорация сегодня может объявить себя мировым лидером в категории, которую сама и учредила, и формально не соврёт ни в одном слове. Я видел презентацию, где слайд сравнения заканчивался столбиком «наши тесты» — и это честнее любого рейтинга: там хотя бы не делают вид, что судья независимый.
Мировое первенство сегодня — это не когда тебя признали, а когда ты правильно назвал соревнование.