LLM

LLM в машинном обучении: что это и как она связана с ML и NLP

Михаил Мозг16 октября 20266 минут чтения

LLM в машинном обучении это большие нейросети для работы с текстом: частный случай глубокого обучения внутри задач NLP. Архитектура трансформер, на которой они построены, описана в статье 12 июня 2017 года. Ниже схема вложенности, разница подходов и примеры задач: что поручить LLM, а что обычной модели ML.

Содержание

Схема: ИИ, машинное обучение, глубокое обучение, NLP, LLM
Машинное обучение: модель учится на примерах
NLP: задачи с текстом и речью
LLM: одна модель на много задач
Когда хватит обычной модели ML
Примеры задач: что чем решать

Схема: ИИ, машинное обучение, глубокое обучение, NLP, LLM

Пять понятий вложены друг в друга, схема ниже показывает как. Внешний круг «Искусственный интеллект»: все способы научить компьютер задачам, которые раньше решал только человек, включая правила, написанные вручную.

Внутри него круг «Машинное обучение»: программа находит правила в данных сама. Внутри машинного обучения «Глубокое обучение»: нейросети из многих слоев. Внутри глубокого обучения «LLM»: большие языковые модели на архитектуре трансформер.

Отдельный овал «NLP: работа с языком» пересекает машинное и глубокое обучение и целиком содержит LLM. Часть задач NLP решают без нейросетей: письма раскладывают по темам логистической регрессией, а даты и телефоны находят в тексте простыми правилами. Поэтому овал выходит за круг глубокого обучения.

Отсюда короткий ответ: LLM это глубокое обучение, примененное к языку в большом масштабе. Любая LLM относится к NLP, но NLP намного шире LLM.

Где LLM в искусственном интеллекте

Машинное обучение: модель учится на примерах

Машинное обучение (ML) отличается от обычной программы тем, что правила не пишут вручную. Том Митчелл в учебнике 1997 года определил его как изучение алгоритмов, которые сами становятся точнее с опытом.

На практике опыт это ваши данные с ответами: история продаж, заявки с пометкой «клиент ушел» или «остался», платежи с пометкой «просрочен». Модель находит в них закономерности и применяет к новым случаям.

Обучение идет так: часть данных откладывают, модель учат на остальных и проверяют на отложенных. Если на проверке ошибок заметно больше, чем на обучении, модель запомнила примеры, а не нашла закономерность.

Для таблиц с числами часто берут градиентный бустинг деревьев решений. Chen и Guestrin в 2016 году описали библиотеку XGBoost: бустинг деревьев широко используют специалисты по данным, а система обрабатывает миллиарды примеров на скромных ресурсах.

Такая модель решает одну задачу, под которую ее обучили. Прогноз спроса не напишет письмо, а классификатор заявок не спрогнозирует спрос.

NLP: задачи с текстом и речью

NLP (обработка естественного языка) это раздел ИИ о текстах и речи: классификация писем, извлечение реквизитов, перевод, пересказ, ответы на вопросы, распознавание и синтез речи.

Задолго до LLM эти задачи решали классическими методами. Учебник Jurafsky и Martin «Speech and Language Processing» в черновике 3-го издания от августа 2026 года по-прежнему разбирает N-граммные языковые модели и логистическую регрессию для классификации текста рядом с трансформерами.

Потом пришли нейросети. В 2018 году модель BERT предобучили на неразмеченных текстах, а под конкретную задачу дообучали, добавив один выходной слой; так она обновила рекорды на 11 задачах NLP.

Поэтому NLP на схеме не совпадает ни с одним кругом. В нем есть и классические методы, и глубокое обучение, и LLM.

LLM: одна модель на много задач

LLM учат на огромном массиве текстов предсказывать следующий токен, кусочек текста. Из этой одной задачи вырастает умение переводить, пересказывать, классифицировать и писать код. Задачу ставят словами в запросе, отдельная модель под каждую задачу не нужна.

Так их описывает и Национальная стратегия развития ИИ в редакции Указа Президента от февраля 2024 года. Большие фундаментальные модели в ней это модели, «содержащие не менее 1 млрд» параметров и «применяемые для выполнения большого количества различных задач».

Отличие от BERT в том, что LLM пишет текст сама, а не только размечает чужой. Как модель доходит от вопроса до ответа, по шагам разобрано на странице о том, как работает языковая модель.

У универсальности есть цена. LLM нужны видеокарты или оплата каждого токена, и она может уверенно ошибиться. Поэтому ее берут там, где без понимания свободного текста задачу не решить.

Для компании это значит: один сервис закрывает письма, договоры и чат с клиентами. Но качество каждой задачи проверяют отдельно, на своих примерах и до запуска.

Когда хватит обычной модели ML

Если данные лежат в таблице, а ответ это число или класс, обычной модели ML обычно достаточно. Прогноз спроса, вероятность ухода клиента, риск просрочки платежа, поломка станка по датчикам: это задачи предиктивной аналитики.

Для прогноза по времени есть проверенные методы. Учебник Hyndman и Athanasopoulos «Forecasting: Principles and Practice» (3-е издание, 2021, открыт онлайн) разбирает экспоненциальное сглаживание, модели ARIMA и регрессию.

Такая модель работает с числами напрямую, по ней видно, какие признаки повлияли на прогноз, и ей не нужна видеокарта. Переобучить ее на свежих данных можно на обычном сервере.

LLM нужна, когда вход или выход это свободный текст: письма, договоры, звонки, ответы клиентам. LeCun, Bengio и Hinton в обзоре 2015 года объясняют, почему здесь сильнее глубокое обучение: классическим методам нужен придуманный вручную набор признаков, а многослойная сеть выделяет признаки из сырых данных сама.

Примеры задач: что чем решать

Прогноз продаж на квартал по истории продаж: модель ML на временных рядах. LLM здесь не нужна.

Разбор входящих писем по отделам: при большом архиве размеченных писем подойдет классификатор ML. Если архива нет, LLM разложит письма по описанию категорий в запросе.

Извлечение реквизитов из счетов и договоров в разных форматах: LLM, а результат проверяют правилами, например контрольной суммой ИНН.

Ответы клиентам по базе знаний: LLM с поиском по вашим документам, то есть RAG. Скоринг клиента по анкете и истории платежей: модель ML, ее решение проще объяснить проверяющему.

Часто подходы сочетают: LLM достает данные из писем и договоров, а модель ML считает по ним прогноз. Если в текстах есть персональные данные клиентов, действует 152-ФЗ: передавать их в облачную модель за рубежом без условий закона нельзя, и модель ставят на свой сервер. Подробнее о законе и данных.

Другие термины этой темы собраны в словаре в разделе о языковых моделях. Как компании применяют LLM в продажах, поддержке и документах, разобрано на странице о LLM для бизнеса.

Вопросы и ответы

LLM это машинное обучение?

Да. LLM относится к глубокому обучению, а глубокое обучение входит в машинное обучение. Модель учится на примерах текста, как любая модель ML. Отличие в масштабе и в том, что одна модель решает много разных задач с текстом.

Что выбрать для прогноза продаж: LLM или ML?

Модель ML на временных рядах: экспоненциальное сглаживание, ARIMA или градиентный бустинг по истории продаж. Она работает с числами напрямую, показывает влияние признаков и не требует видеокарты. LLM пригодится рядом: собрать данные из писем и отчетов или пересказать прогноз руководителю словами.