LLM Arena: как люди вслепую сравнивают нейросети

Arena начиналась как исследовательский проект в Калифорнийском университете в Беркли и называлась Chatbot Arena. Потом площадка стала LMArena, а 28 января 2026 года команда убрала из имени и «LM»: теперь это Arena. В поиске ее по-прежнему называют LLMбольшая языковая модель Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. Подробнее в словаре Arena или ареной нейросетей.

Идея простая: модели не решают заранее известный набор задач, а отвечают на вопросы живых людей. Вопросы каждый раз новые, а судья человек, который не знает, какая модель перед ним.

По данным самой Arena на январь 2026 года, площадкой пользуются больше 5 млн человек в месяц из 150 стран. На ее таблицы ссылаются разработчики моделей и годовые отчеты вроде Stanford AI Index.

Вы пишете любой вопрос, готовых заданий нет. Площадка выбирает две модели и показывает их ответы рядом, без названий.

Дальше вы голосуете: какой ответ сильнее, ничья или оба плохие. Если с первого ответа победитель не ясен, можно продолжить разговор и проголосовать позже.

Названия моделей открываются только после голоса. Чтобы модель не выдала себя, авторы отсеивают по ключевым словам разговоры, где в ответе звучит название модели или компании.

Сбор голосов начался в апреле 2023 года. К январю 2024 года набралось около 240 тысяч голосов от больше чем 90 тысяч человек, сравнения шли между 50 с лишним моделями.

Каждый голос это исход одного матча между двумя моделями. Из тысяч таких матчей нужно получить одно число для каждой модели, как рейтинг игрока в шахматах.

Сначала Arena считала рейтинг по системе Эло: после каждого матча очки победителя растут, а проигравшего падают. В декабре 2023 года, когда голосов было больше 130 тысяч, площадка перешла на модель Брэдли-Терри.

Модель Брэдли-Терри это статистический способ оценить силу каждого участника сразу по всей истории матчей, а не после каждой игры по очереди. Она исходит из того, что модель со временем не меняется, и дает устойчивые оценки с доверительным интервалом, то есть диапазоном, где, скорее всего, лежит настоящий рейтинг.

С августа 2024 года Arena отделяет силу модели от стиля ответа. В расчет добавили признаки стиля: длину ответа, число заголовков, списков и выделений жирным. Авторы пишут, что стиль заметно влияет на места, а главный его фактор это длина.

У Arena не одна таблица, а несколько досок по типу задачи. На март 2026 года в меню площадки: текст, создание сайтов (WebDev), зрение, документы, поиск, агенты, картинки по описанию, редактирование картинок, видео из текста и из картинки, редактирование видео.

Для выбора языковой модели обычно смотрят доску Text: это общие вопросы и разговор. Если модель нужна для кода сайтов, смотрите WebDev, если для разбора файлов, Document.

Места на разных досках не совпадают: модель может стоять высоко в тексте и низко в видео или коде. Поэтому фраза «первая в Arena» без названия доски ничего не говорит.

В мае 2025 года вышла работа «The Leaderboard Illusion» («Иллюзия рейтинга»). Авторы разобрали около 2 млн сравнений Arena: 243 модели от 42 разработчиков с января 2024 по апрель 2025 года.

Первая претензия: крупные разработчики тестируют на площадке закрытые варианты модели до релиза и показывают тот, что набрал высший балл. Один разработчик перед выходом модели проверил 27 вариантов. Если брать максимум из многих попыток, место выходит выше настоящей силы модели.

Вторая претензия: данные распределены неравно. По оценке авторов, Google получила около 19,2% всех данных Arena, OpenAI около 20,4%, а 83 открытые моделимодель с открытыми весами Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. Подробнее в словаре вместе около 29,7%. Авторы показывают, что такой доступ к данным ведет к подгонке под особенности Arena, а не к росту общего качества.

Третья поправка идет от самой Arena: стиль, прежде всего длина ответа, влияет на голос. Голос показывает, что понравилось случайному посетителю, а не что верно для вашей задачи.

Arena годится как первый фильтр: она отсекает слабые модели и показывает, какие стоит проверить. Дальше решает тест на ваших задачах.

Соберите несколько десятков реальных вопросов клиентов или сотрудников с правильными ответами. Прогоните их через 3-5 моделей из верхней части доски и сравните ответы вслепую, как в самой Arena: без названий моделей. Помните урок про стиль: оценивайте факты, а не объем и оформление.

Кроме качества, для компании важны цена запроса, скорость, русский язык, работа с вашими документами и место хранения данных. Как построить такую проверку, разобрано на странице об оценке агента, а почему общий набор задач не заменяет свой тест, объясняет термин «бенчмарк» в словаре.

Чем Arena отличается от тестов на задачах и сводных индексов, мы разобрали отдельно: как устроены рейтинги нейросетей и каким из них верить.

Места в Arena меняются с выходом каждой новой модели, поэтому здесь мы таблицу не повторяем. Снимок мест с датой проверки и ссылкой на доску стоит на странице рейтинга LLM.

Для общего фона полезен Stanford AI Index 2026. По его данным, в рейтинге Arena 2026 года первая модель США набрала 1503 пункта, первая модель Китая 1464. Разрыв между верхними строками небольшой, и выбор между ними решают цена, доступ и ваш тест.

Если вопрос не «кто первый», а «что взять под задачу», начните со страницы о том, какой ИИ выбрать для текста, кода и документов. Остальные материалы о языковых моделях собраны в разделе LLM.