Как работает нейросеть: от вашего вопроса до ответа

LLMбольшая языковая модель Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу. Подробнее в словаре (большая языковая модель) это нейросеть, которую обучили продолжать текст. Путь от вашего вопроса до ответа укладывается в шесть шагов, схема ниже показывает их по порядку.

Текст становится токенами. Токены становятся числами. Внимание решает, какие слова важны друг другу. Модель считает вероятности следующего токена. Выбор токена зависит от двух настроек: температуры и top-ptop-p Top-p (nucleus sampling) это настройка генерации, при которой модель выбирает следующий токен только среди наиболее вероятных вариантов, чья суммарная вероятность достигает порога p. Подробнее в словаре. Дальше повтор до конца ответа.

Стрелка «следующий токен» ведет с шага 6 обратно на шаг 4: выбранный токен добавляется к тексту, и модель снова считает вероятности, уже с его учетом. Так ответ растет слово за словом.

Эту схему задала архитектура трансформертрансформер Трансформер это архитектура нейросети, которая читает весь текст сразу и с помощью механизма внимания решает, какие слова важны для понимания каждого слова. Подробнее в словаре из статьи «Attention Is All You Need»: сеть построена только на механизме внимания, без рекуррентных и сверточных слоев прежних моделей. Что такое LLM в целом и где их применяют, читайте в разделе о языковых моделях.

Модель не читает буквы и слова. Сначала токенизатортокенизация Токенизация это разбиение текста на токены, то есть кусочки слов и знаки, которые языковая модель переводит в числа и только потом читает. Подробнее в словаре, программа разбиения текста, режет фразу на токены: целые слова, части слов и знаки.

Разбиение на части слов описали Sennrich и соавторы в 2015 году. Редкое слово собирается из частых кусков, поэтому словарь модели ограничен, а написать она может любое слово.

Пример. Мы проверили фразу «Как работает нейросеть» в библиотеке tiktoken от OpenAI 16 октября 2026 года. В кодировке o200k_base вышло 5 токенов: «Как», «работает», «ней», «рос», «еть». В кодировке cl100k_base, которой токенизировал текст GPT-4, та же фраза заняла 9 токенов.

Английская фраза того же смысла в обеих кодировках заняла 6 токенов. Вывод для бюджета: длину вопроса и ответа считают в токенах, а не в словах, и одна фраза у разных моделей занимает разное число токенов. Подробнее о единице оплаты в статье словаря о токене.

У каждого токена есть номер в словаре модели. По номеру модель берет эмбеддинг (embedding): длинный список чисел, который описывает токен. Близкие по смыслу слова получают близкие списки.

Идею проверили Mikolov и соавторы в 2013 году: векторы слов, обученные на больших текстах, ловят сходство слов по смыслу и по грамматике. В трансформере такие векторы учатся вместе со всей сетью.

К вектору добавляют сведения о позиции токена во фразе. Иначе «собака кусает почтальона» и «почтальон кусает собаку» выглядели бы для модели одинаково.

Те же векторы работают и в поиске по документам: вопрос и фрагменты текста переводят в числа и сравнивают. Как это устроено, рассказано в статье об эмбеддинге.

Механизм внимания решает для каждого токена, на какие другие токены текста опереться и насколько сильно. В фразе «Клиент вернул товар, потому что он был с браком» внимание связывает «он» с «товар», а не с «клиент».

Идею предложили Bahdanau, Cho и Bengio в 2014 году для машинного перевода: при каждом слове перевода модель сама ищет нужные слова исходной фразы. В трансформере внимание стало основой всей сети.

Внимание считается во многих слоях подряд. Каждый слой уточняет векторы токенов, и к последнему слою вектор последнего токена несет сведения обо всей фразе. Подробнее в словаре: механизм внимания.

Из вектора последнего токенатокен Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. Подробнее в словаре модель получает оценку для каждого токена своего словаря. Функция softmax превращает оценки в вероятности, которые в сумме дают единицу.

На вопрос «Столица Франции?» почти вся вероятность уйдет на токен «Париж», остальным вариантам достанутся доли. На просьбу «придумайте название кофейни» вероятность размазана по сотням вариантов.

Важно понимать: модель не ищет ответ в базе фактов. Она оценивает, какое продолжение правдоподобно после всего, что уже написано. Отсюда и сила модели, и ее ошибки.

Простейший способ выбора: всегда брать токен с наибольшей вероятностью. Его называют жадным декодированием (greedy decoding), в библиотеке Hugging Face Transformers он работает, когда случайная выборка выключена.

Holtzman и соавторы в 2019 году показали: если всегда брать наиболее вероятное продолжение, текст выходит пресным и странно повторяющимся. Поэтому чат-ботычат-бот Чат-бот это программа, которая переписывается с человеком в окне чата: на сайте, в мессенджере или в приложении. Подробнее в словаре обычно выбирают токен случайно, но с учетом вероятностей.

Температура (temperature) меняет вероятности перед выбором. Низкая усиливает вероятные токены, и ответы становятся предсказуемыми. Высокая выравнивает шансы, и ответы разнообразнее. В Transformers значение по умолчанию 1,0, если модель не задает свое.

Top-p, или ядерная выборка, отрезает хвост маловероятных токенов: остается наименьший набор вариантов, сумма вероятностей которых не меньше p. При top-p 1,0 хвост не отрезается. Для извлечения реквизитов из счета температуру ставят низкой, для идей рекламы повышают.

Выбранный токен дописывается к тексту, и модель снова считает вероятности следующего токена. Ответ из тысячи токенов означает тысячу таких проходов.

Цикл останавливается, когда модель выбирает служебный токен конца ответа или упирается в лимит новых токенов из настроек. Поэтому ответ в чате печатается по кусочкам: сервис показывает токены по мере выбора.

Все, что модель видит за один раз, ограничено контекстным окном: инструкции, документы, история диалога и ее собственный ответ. У моделей Claude, по документации Anthropic, окно 1 млн токенов.

Длинное окно не означает точное чтение. Liu и соавторы в 2023 году нашли, что модели надежнее используют сведения из начала и конца длинного текста и чаще теряют их в середине.

Галлюцинация это уверенный ответ с выдуманным фактом: несуществующая статья закона, чужая цифра, ссылка в никуда. Причина видна из шагов 4 и 5: модель пишет правдоподобное продолжение, а правдоподобное не всегда верно.

Исследователи OpenAI в статье 4 сентября 2025 года объясняют, откуда это берется. На предобучениипредобучение Предобучение это первый большой этап создания языковой модели, на котором она учится угадывать продолжение текста по огромному массиву книг, сайтов и кода. Подробнее в словаре модель не может статистически отличить ложное утверждение от факта, и ошибки появляются уже там.

Дальше их закрепляют тесты: большинство оценивает ответ как верный или неверный, и догадка приносит больше баллов, чем честное «не знаю». Авторы предлагают менять оценку тестов, чтобы модели не учились угадывать.

Что делать в работе: давать модели источник и просить ссылку на него, ставить низкую температуру для задач с одним правильным ответом и проверять ответы на своем наборе вопросов до запуска.

Модель знает только то, что было в обучающих текстах до даты отсечения знанийдата отсечения знаний Дата отсечения знаний это момент, до которого собраны тексты для обучения языковой модели: о событиях позже нее модель сама не знает. Подробнее в словаре. У моделей Claude, по документации Anthropic, надежные знания заканчиваются июнем 2026 года. О более поздних событиях модель сама не знает.

Заявленная дата тоже приблизительна. Cheng и соавторы в 2024 году показали, что фактическая граница знаний часто отличается от объявленной: в свежие наборы веб-текстов попадают старые страницы и их копии.

Ваших регламентов, цен и договоров в модели нет совсем. Их дают через RAG (поиск с генерацией): система находит нужные фрагменты в ваших документах и передает модели вместе с вопросом. В работе Lewis и соавторов 2020 года ответы с поиском вышли конкретнее и точнее по фактам, чем у модели без поиска.

Если в документах есть персональные данные клиентов, действует 152-ФЗ: передавать их в облачную модельоблачная модель Облачная модель это нейросеть, которая работает на серверах поставщика, а вы пользуетесь ею через сайт, приложение или API и платите за объем запросов. Подробнее в словаре за рубежом без условий закона нельзя. Тогда модель ставят в свой контур, на сервер компании, подробнее о законе и данных.

Как такие схемы работают в отделах продаж, поддержки и документообороте, разобрано на странице о LLM для бизнеса.