Как устроены рейтинги нейросетей и каким из них верить

Arena (бывшая LMArena) дает человеку два ответа на один вопрос и не показывает, какие модели их написали. Человек голосует за один из ответов, и из тысяч таких пар складывается таблица. Досок много: текст, код для сайтов, зрение, документы, поиск, агенты, изображения, видео из текста и из картинки, редактирование видео.

Таблицу считают не простым подсчетом побед. В декабре 2023 года, когда голосов было больше 130 000, Arena перешла с онлайн-рейтинга Эло на модель Брэдли-Терри: она дает более стабильные оценки и честные доверительные интервалы. Поэтому две модели с близкими очками могут делить место.

Слабое место: голосует не ваш сотрудник, а случайный посетитель, и вопросы у него свои. В работе «The Leaderboard Illusion» (апрель 2025) авторы показали, что крупные компании тестируют закрытые версии моделей до релиза и публикуют только удачные: Meta* перед выходом Llama 4 проверила 27 закрытых вариантов. По оценке авторов, дообучениедообучение Дообучение это настройка уже обученной модели на ваших примерах, чтобы она точнее выполняла конкретную задачу или писала в нужном стиле. Подробнее в словаре на данных самой Arena поднимает результат на ее вопросах до 112%.

Тест на задачах проверяет не вкус человека, а результат. В SWE-bench модель получает реальную задачу из репозитория на GitHub и должна написать исправление кода, которое затем проверяют автоматически в изолированной среде. Версия SWE-bench Verified, выпущенная 13 августа 2024 года, содержит 500 задач, которые инженеры вручную подтвердили как решаемые.

Такие тесты быстро насыщаются. По Stanford AI Index 2026, результат моделей на SWE-bench Verified за год вырос с 60% почти до 100%. Когда почти все модели решают почти все задачи, тест перестает различать их, и составители делают новый, более трудный.

Второй риск: задачи теста могли попасть в данные, на которых модель учили. Тогда высокий балл показывает память, а не умение. Что такое бенчмарк и как его читать, разобрано в словаре.

Сводный индекс сводит много тестов в одну цифру. Artificial Analysis Intelligence Index версии 4.3.2 на 16 октября 2026 года включает 10 тестов в четырех группах: агенты 30%, программирование 20%, научные рассуждения 20%, общие знания 30%. Среди тестов Terminal-Bench, SciCode и Humanity's Last Exam.

Плюс индекса: одна шкала для всех моделей, рядом цена задачи и скорость ответа. Минус: веса выбирает составитель. Индекс с упором на агентов поднимет модели для агентов, хотя вам может быть нужен перевод договоров.

Мы берем этот индекс для страницы о моделях с рассуждением, где важны трудные задачи. Для общего списка языковых моделейбольшая языковая модель Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. Подробнее в словаре берем Arena Text: рейтинг LLM на дату проверки.

Для задач вне чата есть свои рейтинги. Open ASRраспознавание речи Распознавание речи (automatic speech recognition, ASR) это перевод устной речи в текст программой: из звонка, голосового сообщения или записи встречи. Подробнее в словаре Leaderboard по статье авторов от 30 марта 2026 года сравнивает 86 систем распознавания речи от 26 организаций по доле ошибок в словах (WER) и скорости (RTFx).

У каждого узкого рейтинга свои ограничения. В многоязычной части Open ASR есть немецкий, французский, итальянский, испанский и португальский, а русского нет. Значит, место модели в этом рейтинге ничего не говорит о качестве расшифровки русских звонков.

Для зрения и документов у Arena есть отдельные доски Vision и Document. Все рейтинги раздела по задачам собраны на главной странице: топ ИИ по задачам.

Рейтинг отвечает на вопрос, какая модель в среднем сильнее на чужих задачах. Компании нужен ответ на другой вопрос: какая модель решит наш процесс с нашей ценой ошибки, нашим языком и нашими данными.

Разница бывает большой. Модель с высоким местом в Arena Text может путать термины вашей отрасли, а модель ниже в таблице может быть в 10 раз дешевле и работать на вашем сервере. Подробный пример выбора для агента: какую модель выбрать для ИИ-агента.

К тому же места меняются каждый месяц. Если строить процесс вокруг первой строки таблицы, через полгода придется все переделывать. Устойчивее закрепить задачу и критерии, а модель менять, когда тест на ваших данных покажет выгоду.

Шаг 1: соберите 100 реальных примеров задачи. Это могут быть письма клиентов, звонки, договоры или вопросы в поддержку. Уберите из них персональные данные или проверяйте модель на своем сервере.

Шаг 2: для каждого примера запишите правильный ответ или признаки правильного ответа. Шаг 3: прогоните примеры через 2-3 модели из рейтинга и посчитайте долю верных ответов, цену и время.

Повторяйте тест при каждой смене модели или версии. Набор из 100 примеров собирается один раз, а проверка новой модели на нем занимает день, а не месяц пилота.

Шаг 4: посмотрите на ошибки, а не только на процент. Одна ошибка в сумме договора дороже 20 неудачных формулировок. Такой тест на ваших 100 диалогах говорит больше, чем любая таблица, а какие процессы вообще стоит отдавать ИИ, показывает Карта ИИ-решений.