Словарь ИИ

Что такое малая языковая модель

Коротко

Малая языковая модель (small language model, SLM) это компактная языковая модель на единицы миллиардов параметров или меньше, которая работает на обычном сервере, ноутбуке или телефоне.

Языковые модели · small language model

Михаил МозгПроверено: 16 октября 20261 минута чтения

Ребенку

Большая энциклопедия знает почти все, но она тяжелая и стоит в библиотеке. Карманный словарик знает меньше, зато всегда с тобой в портфеле и открывается за секунду. Если нужно быстро проверить слово, словарика хватает. Маленькие нейросети похожи на такой словарик: они помещаются даже в телефон.

Простыми словами

Большие нейросети работают в мощных дата-центрах, и каждый вопрос улетает к ним через интернет. Малая модель во много раз компактнее, поэтому ее можно запустить прямо на компьютере или телефоне. Она знает меньше фактов и хуже справляется с запутанными задачами, зато отвечает быстро, без интернета и не отправляет ваши тексты наружу. Ей хорошо даются узкие повторяющиеся дела: разобрать письмо, заполнить форму, кратко пересказать документ. Похоже на калькулятор в кармане: не суперкомпьютер, но посчитать покупки хватает.

Для бизнеса

Компактные модели выгодны там, где запросов много, а задача узкая: сортировка обращений, извлечение реквизитов из счетов, шаги ИИ-агента вроде выбора нужного инструмента. Они работают на одной недорогой видеокарте или прямо на рабочем месте, а персональные данные не покидают контур компании. Расходы складываются из сервера, настройки под вашу задачу и поддержки. Риски: на открытых вопросах такая модель чаще ошибается и выдумывает, поэтому ее не ставят туда, где нужен широкий кругозор. Обычная схема смешанная: маленькая модель берет поток рутины, сложные запросы уходят к большой. Выбор между локальным и облачным вариантом зависит от объема запросов и требований к данным.

Для специалиста

Малая языковая модель (small language model, SLM) не имеет строгой границы размера: обычно так называют модели на единицы миллиардов параметров, пригодные для инференса на одном GPU, на CPU или прямо на устройстве (on-device). Качество при малом размере достигают отбором и синтезом обучающих данных, дистилляцией из крупных моделей и долгим обучением на большом числе токенов. Пример из технического отчета Phi-3 (2024): phi-3-mini имеет 3,8 млрд параметров, обучена на 3,3 трлн токенов, набирает 69% на MMLU и помещается в телефон. Belcak и др. (2025) утверждают, что для агентных систем, где модель выполняет немного узких повторяющихся операций, SLM достаточно мощны и экономичнее, а универсальные LLM разумно вызывать точечно в гетерогенных системах. Для развертывания такие модели обычно еще и квантуют.

Пример

Бухгалтерия получает сотни счетов в день. Компактная модель на сервере компании достает из каждого реквизиты, сумму и дату и заносит их в учетную систему, а спорные счета отдает человеку.

Связанные термины

Вопросы и ответы

Чем малая языковая модель отличается от большой?

Размером и тем, где она работает. Малая помещается на обычный сервер или устройство, отвечает быстрее и дешевле, но знает меньше и хуже справляется со сложными рассуждениями.

Можно ли запустить малую языковую модель на своем компьютере?

Да, многие такие модели открыты и работают на ноутбуке или одной видеокарте. Скорость зависит от размера модели, объема памяти и степени сжатия.

Источники

Где это применяют в компании

Локальный или облачный ИИ: как выбрать

Не уверены, нужно ли это вашей компании?

Карта ИИ-решений