Что такое LLM: большая языковая модель и как она работает

LLM расшифровывается как Large Language Model, по-русски большая языковая модель. «Большая» значит, что внутри миллиарды параметров: у GPT-3 их было 175 млрд. «Языковая» значит, что модель работает с текстом: читает запрос и пишет продолжение.

В ИТ так называют и саму модель, и сервисы на ее основе: чат-ботовчат-бот Чат-бот это программа, которая переписывается с человеком в окне чата: на сайте, в мессенджере или в приложении. Подробнее в словаре, ассистентов, ИИ-агентов. Когда в договоре или вакансии пишут «интеграция с LLM», речь о подключении такой модели к программам компании.

Не путать с LL.M. (Legum Magister, Master of Laws): это степень магистра права, вторая высшая академическая степень юриста. Аббревиатура совпадает, поэтому часть запросов «llm» на самом деле про юридическое образование.

Простыми словами: это программа, которая по началу текста угадывает, какой кусочек слова идет дальше. Угадывает так точно, что из этого получаются письма, сводки, код и ответы на вопросы.

Базы фактов внутри модели нет. Есть закономерности языка, выученные на огромном объеме текстов, и поэтому модель может ошибаться уверенным тоном.

В российском праве термина «большая языковая модельбольшая языковая модель Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. Подробнее в словаре» нет, но есть два близких. Их дает Национальная стратегия развития искусственного интеллекта в редакции Указа Президента от 15.02.2024 № 124, пункт 5.

Подпункт «н»: «большие генеративные модели» способны «интерпретировать и создавать мультимодальные данные (тексты, изображения, видеоматериалы и тому подобное)». Мультимодальные значит разных видов. Делать это они должны «на уровне, сопоставимом с результатами интеллектуальной деятельности человека или превосходящем их».

Подпункт «о»: «большие фундаментальные моделибазовая модель Базовая модель (foundation model) это большая нейросеть, обученная на огромном объеме общих данных, которую потом приспосабливают к множеству конкретных задач. Подробнее в словаре» содержат не меньше 1 млрд параметров и применяются «для выполнения большого количества различных задач». Современная языковая модель подходит под оба определения: она создает текст и служит основой для множества программ.

Модель не видит слов. Сначала текст режут на токены: целые слова, части слов или знаки. Деление редких слов на части (алгоритм BPEBPE BPE (byte pair encoding, кодирование пар байтов) это алгоритм токенизации, который строит словарь модели, раз за разом склеивая наиболее частые пары символов в новые единицы. Подробнее в словаре) описали Sennrich и соавторы в 2015 году для машинного перевода.

Каждый токентокен Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. Подробнее в словаре превращается в набор чисел. Затем слои трансформера с механизмом внимания решают, какие слова запроса важны друг для друга: например, к чему относится «он» в длинном предложении.

На выходе модель считает вероятность каждого возможного следующего токена, выбирает один, дописывает его к тексту и повторяет шаг. Длинный ответ это тысячи таких шагов, поэтому он дольше и дороже короткого.

Отсюда частый вопрос: почему на один и тот же запрос модель отвечает по-разному. На каждом шаге она выбирает токен с долей случайности, и небольшое отличие в начале меняет весь дальнейший текст.

Настройка «температура» задает, насколько смело модель берет менее вероятные токены: чем ниже значение, тем предсказуемее текст. Все шесть шагов на одной схеме разобраны на странице о том, как работает нейросеть.

Параметры (веса) это числа внутри нейросети, которые подбирают при обучении. От их количества зависят нужное железо и цена ответа: у GPT-3 в 2020 году было 175 млрд параметров, а стратегия ИИИИ-стратегия ИИ-стратегия это решение компании о том, зачем ей искусственный интеллект, каких целей он должен достичь, сколько денег и людей на это выделено и в каком порядке идти. Подробнее в словаре считает большой фундаментальной модель от 1 млрд.

Kaplan и соавторы в 2020 году показали: ошибка языковой модели падает по степенному закону с ростом числа параметров, объема данных и вычислений. Эта работа объясняет, почему разработчики годами наращивали размер моделей и обучающих наборов.

Токены это единица счета. Облачные моделиоблачная модель Облачная модель это нейросеть, которая работает на серверах поставщика, а вы пользуетесь ею через сайт, приложение или API и платите за объем запросов. Подробнее в словаре берут оплату за токены на входе и на выходе, а длину запроса и ответа тоже меряют в токенах, а не в словах.

Контекстное окно это объем текста в токенах, который модель видит за один раз: инструкция, документы, история переписки и сам ответ. Большое окно не значит точное: в работе Liu и соавторов (2023) модели заметно хуже находили нужный факт в середине длинного текста, чем в начале или в конце.

Обучение идет в три этапа. Первый, предобучение: модель читает огромный корпус текстов и учится предсказывать следующий токен. Получается базовая модель, которая умеет продолжать текст, но плохо выполняет просьбы.

Второй этап, дообучение на примерах: люди пишут образцовые ответы на запросы, и модель учится на этих парах. Третий, обучение на оценках людей (RLHF, reinforcement learning from human feedback): люди ранжируют несколько ответов модели, и по их выбору ее доучивают.

Эффект третьего этапа показали Ouyang и соавторы в 2022 году. Ответы InstructGPT на 1,3 млрд параметров люди предпочитали ответам GPT-3 на 175 млрд, хотя первая модель в сотню с лишним раз меньше.

Компании почти никогда не обучают модель с нуля. Обычно берут готовую и дают ей свои документы через поиск (RAGRAG RAG это схема, в которой ИИ сначала находит нужные фрагменты в ваших документах, а потом отвечает, опираясь на них. Подробнее в словаре, ответ по найденным фрагментам) или доучивают на своих примерах.

По доступу. Закрытые модели работают только через сервис разработчика: в чате или через API. Модели с открытыми весами можно скачать и запустить на своем сервере, тогда данные не уходят наружу.

По назначению. Базовая модель продолжает текст, инструктивная выполняет просьбы, рассуждающая перед ответом пишет цепочку промежуточных шагов и точнее решает задачи на логику и расчеты.

По размеру. Малые модели помещаются на ноутбук или один сервер и быстро отвечают на простые запросы. Большие сильнее в сложных задачах, но требуют дорогого железа или оплаты за токены.

По типу данных. Текстовые модели работают только с текстом, мультимодальные понимают еще картинки, звук или видео. Как раз про такие говорит определение «больших генеративных моделей» из стратегии.

Сравнивают модели по голосам людей и тестам. В рейтинге Arena в 2026 году первая модель США набрала 1503 балла, первая модель Китая 1464 (Stanford AI Index 2026). Как устроен этот рейтинг, читайте на странице об LLM Arena, а места моделей смотрите в рейтинге LLM.

Умеет: писать и сокращать тексты, отвечать по документам, переводить, разбирать письма и заявки, писать код, доставать нужные поля из договоров. GPT-3 уже в 2020 году решала новые задачи по нескольким примерам в запросе, без дообучения. Примеры по отделам собраны на странице LLM для бизнеса.

В компании это выглядит так: отдел продаж получает черновик ответа клиенту за минуту, юрист видит спорные пункты договора, поддержка отвечает ночью по базе знанийбаза знаний для ИИ База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы. Подробнее в словаре. Модель делает первый вариант, человек решает, что уходит наружу.

Все чаще модель работает внутри ИИ-агента: программа сама нажимает кнопки и вызывает сервисы. В тесте OSWorld (работа агента за компьютером) точность выросла примерно с 5% в 2024 году до 66,3% в 2025 при уровне человека 72,35%.

Ошибается: модель может уверенно выдать неправду, это называют галлюцинацией. Kalai и соавторы (2025) объясняют причину: на предобучении ложное утверждение нельзя статистически отличить от факта, а тесты награждают догадку больше, чем честное «не знаю».

Еще ограничения: модель не знает событий после даты отсечения знаний и путается в длинных расчетах. Поэтому в работе с клиентами ответ проверяет правило или человек, а факты модель берет из ваших документов, а не из памяти.

Чат. Проще всего начать с чат-сервиса: ChatGPT открыли для всех 30 ноября 2022 года, и с тех пор таких сервисов стало много. Подходит для личных задач: письмо, сводка, план, идея.

API (программный интерфейс). Программа компании отправляет запрос модели и получает ответ, оплата идет за токены. Так модель встраивают в CRM, 1С, Telegram-бота или сайт; сервисы с API и способы оплаты собраны в разделе об API нейросетей.

Своя модель. Модель с открытыми весами ставят на свой сервер или компьютер: данные не покидают компанию, платить за токены не нужно, зато нужно железо. С чего начать на ноутбуке, рассказано в обзоре локальных нейросетей.

Если модель будет видеть данные клиентов, действует 152-ФЗ: персональные данные нельзя просто отправить в облако за рубежом, для этого нужны условия закона. Своя модель в контуре компании снимает этот вопрос, подробнее на странице о законе и данных.

Как выбрать между тремя путями: чат подходит для проверки идеи за день, API для встраивания в процессы без своего железа, своя модель для работы с чувствительными данными и большим потоком запросов. Многие компании совмещают пути: простые задачи отдают облаку, документы с персональными данными обрабатывают у себя.

Для компании путь начинается не с выбора модели, а с задачи: где модель сэкономит часы сотрудников и деньги. Сначала задачи и расчет эффекта, потом модель и способ запуска.

Языковые модели ищут с разными целями: понять термин, выбрать модель, запустить ее у себя, внедрить в компании или работать с моделями по профессии. Ниже пять маршрутов, в каждом три шага от простого к делу.

Каждая страница раздела стоит на первоисточниках с датой проверки: от статьи о трансформеретрансформер Трансформер это архитектура нейросети, которая читает весь текст сразу и с помощью механизма внимания решает, какие слова важны для понимания каждого слова. Подробнее в словаре 2017 года до отчета Stanford AI Index 2026. Ссылки на них собраны внизу страницы в блоке «Источники и даты».

В словаре сайта каждый термин объяснен на четырех уровнях: для ребенка, простыми словами, для бизнеса и для специалиста, с примером и первоисточником. Ниже главные слова из категории «Языковые модели»: от токена до трансформера.

Определения опираются на исходные работы. Токен в словаре описан по статье Sennrich и соавторов о делении слов на части, контекстное окно по исследованию Liu и соавторов о потере фактов в середине текста. Все термины категории собраны на отдельной странице словаря.