Словарь ИИ
Что такое большая языковая модель
Коротко
Большая языковая модель (LLM) это нейросеть, обученная на огромном объеме текстов, которая пишет, пересказывает и разбирает текст по запросу.
Языковые модели · large language model
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь друга, который прочитал целую библиотеку: сказки, учебники, письма и рецепты. Он не помнит каждую книгу наизусть, но так привык к словам, что легко угадывает, чем закончится любая фраза. Попросишь сочинить стишок или объяснить задачку, и он ответит. Только иногда он путается и уверенно говорит неправду, поэтому взрослые проверяют его ответы.
Простыми словами
Это программа, которая научилась писать, разобрав миллиарды страниц из книг, сайтов и документов. Готовых ответов внутри нет. Она смотрит на ваш вопрос и шаг за шагом подбирает следующее слово, которое подходит по смыслу. Так получается связное письмо, пересказ или список. Например, вы вставляете длинный договор и просите выписать сроки оплаты: она находит их и пишет коротко. Ее знания заканчиваются датой, на которой остановилось обучение, поэтому свежие факты приходится давать прямо в запросе.
Для бизнеса
LLM закрывает задачи с текстом: ответы клиентам, черновики писем, разбор договоров, поиск по базе знаний, сводки звонков. Платят за нее двумя способами. Облачный сервис берет деньги за объем текста на входе и выходе. Своя модель на сервере требует видеокарт и инженера, зато данные не покидают компанию, что важно для 152-ФЗ. Главные риски: выдуманные факты, утечка конфиденциальной информации в чужое облако и зависимость от одного поставщика. Перед внедрением проверьте, на каких задачах она ошибается, кто проверяет ее ответы и где хранятся запросы. Какие процессы окупят такое решение, считают в карте ИИ-решений.
Для специалиста
Большая языковая модель (large language model, LLM) это нейросеть, обычно на архитектуре трансформер (Transformer), обученная предсказывать следующий токен на большом корпусе текстов и кода. Путь от сырой модели к ассистенту включает предобучение (pretraining), обучение на инструкциях (instruction tuning) и выравнивание по предпочтениям людей (RLHF, DPO). Kaplan и соавторы (2020) показали, что ошибка падает по степенному закону с ростом числа параметров, объема данных и вычислений. Brown и соавторы (2020) описали GPT-3 со 175 млрд параметров, которая решала задачи по нескольким примерам в промпте (few-shot) без обновления весов. Различают плотные модели и смеси экспертов (mixture of experts), базовые и чат-модели, закрытые и с открытыми весами. Качество меряют бенчмарками и, что важнее для внедрения, тестами на собственных задачах.
Не путать. LL.M. (Legum Magister) это степень магистра права, к нейросетям отношения не имеет.
Пример
Юрист загружает в модель двадцать страниц договора поставки и просит перечислить штрафы и сроки. Через минуту у него таблица с пунктами и номерами страниц, которую остается проверить.
Связанные термины
Вопросы и ответы
Что значит LLM?
Чем LLM отличается от обычного чат-бота?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений