Словарь ИИ
Что такое локальная модель
Коротко
Локальная модель это нейросеть, которая работает на вашем компьютере или сервере, а не в облаке поставщика, поэтому данные никуда не уходят.
Инфраструктура · local model
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь, что у тебя дома есть своя энциклопедия. Чтобы найти ответ, не нужно идти в библиотеку, ждать в очереди и просить библиотекаря. Книга стоит на полке, и никто не знает, что ты в ней искал. Такая нейросеть похожа на домашнюю энциклопедию: она живет на твоем компьютере и отвечает даже без интернета.
Простыми словами
Обычно нейросетью пользуются через сайт или приложение: вопрос улетает на чужой сервер, там его обрабатывает модель, ответ возвращается обратно. При локальном запуске все происходит на вашем железе. Вы скачиваете файл с открытыми весами, запускаете его программой вроде Ollama или LM Studio и общаетесь с моделью без интернета. Небольшие модели работают на ноутбуке с хорошей видеокартой или на Mac, крупным нужен сервер. Взамен вы получаете приватность, но скорость и качество ограничены вашим компьютером.
Для бизнеса
Компании выбирают свой запуск, когда данные нельзя отдавать наружу: переписку с клиентами, договоры, медицинские и финансовые сведения. Вторая причина: независимость от поставщика, который может отключить сервис или поднять цены. Структура затрат другая, чем у облака: вместо оплаты за токены покупка или аренда сервера, электричество, обслуживание и инженер. При небольшом объеме запросов облако обычно дешевле, при постоянной высокой нагрузке свое железо может окупиться. На части задач открытые модели слабее ведущих облачных, поэтому сначала их сравнивают на ваших реальных примерах и только потом закупают оборудование.
Для специалиста
Локальная модель (local model) это LLM или другая нейросеть, инференс которой выполняется на устройстве или сервере пользователя без обращения к внешнему API. Основа: модели с открытыми весами и движки инференса. Проект llama.cpp ставит цель запускать LLM с минимальной настройкой на широком спектре железа, включая Apple silicon, поддерживает целочисленную квантизацию от 1,5 до 8 бит и гибридный режим CPU и GPU для моделей больше видеопамяти. Для серверной нагрузки с параллельными запросами используют vLLM с PagedAttention. Квантизация после обучения (post-training quantization) делает запуск возможным на доступном железе: метод GPTQ (Frantar и др., 2022) сжимает веса до 3-4 бит с незначительной потерей точности и впервые уместил модель на 175 млрд параметров в одну GPU. Компромисс задают размер модели, разрядность весов и длина контекста, а ограничивают объем и пропускная способность памяти.
Пример
Юридическая фирма проверяет договоры с помощью модели, запущенной на сервере в своем офисе. Тексты договоров не покидают сеть компании, а юрист получает список рискованных пунктов за несколько минут.
Связанные термины
Вопросы и ответы
Что такое локальная нейросеть?
Можно ли запустить нейросеть на обычном компьютере?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений