Словарь ИИ
Что такое чат-модель
Коротко
Чат-модель это языковая модель, дообученная вести диалог: она понимает роли собеседников, следует инструкциям и отвечает на реплики, а не просто продолжает текст.
Языковые модели · chat model
Михаил МозгПроверено: 1 минута чтения
Ребенку
Представь говорящего попугая, который повторяет услышанное, и друга, который отвечает на твои вопросы. Обычная нейросеть после первой учебы похожа на попугая: продолжает фразу как получится. Потом ее долго учат разговаривать по очереди, слушать вопрос и отвечать по делу. Так из попугая получается настоящий собеседник.
Простыми словами
Сначала модель учат на огромном количестве текстов, и она умеет только дописывать начатое. Затем ее дообучают на переписках, где у каждой реплики есть роль: пользователь, ассистент, иногда системная инструкция с правилами. Модель привыкает к формату: после вопроса пользователя пишет ответ ассистента и останавливается. Так получается версия для диалога, с которой вы общаетесь в чат-ботах. Например, на сообщение «Привет, помоги с письмом» она не продолжит вашу фразу, а спросит, кому и о чем письмо.
Для бизнеса
Почти все модели, которые подключают к ассистентам и агентам, это чат-модели или их рассуждающие версии. При выборе для компании проверяют, как модель держит системные инструкции на длинном диалоге, не отказывается ли без причины от рабочих задач, грамотно ли пишет по-русски и умеет ли возвращать ответ в заданном формате. Важная деталь для своего сервера: у каждой открытой модели свой шаблон разметки диалога, и с неправильным шаблоном качество резко падает. Чат-модель не знает ваших цен и регламентов, поэтому для ответов клиентам ее подключают к базе знаний. Как это выглядит на практике, показывает ИИ-ассистент по документам компании.
Для специалиста
Чат-модель (chat model, instruct-модель) это базовая LLM, прошедшая постобучение на диалоговых данных: обычно инструктивную настройку (SFT) и обучение на предпочтениях, например RLHF или DPO; такую схему для InstructGPT описали Ouyang и соавторы (2022). Технически диалог остается последовательностью токенов: список сообщений с ролями system, user и assistant превращается в текст шаблоном чата (chat template) с управляющими токенами. Документация Hugging Face отмечает, что модели, дообученные от одной базовой, могут использовать разные шаблоны, а с неверными управляющими токенами качество резко падает. Флаг add_generation_prompt добавляет начало реплики ассистента, без него модель может продолжить сообщение пользователя вместо ответа. Современные шаблоны также размечают вызовы инструментов и блоки рассуждений. Через API такие модели вызывают с массивом сообщений вместо одной строки промпта.
Пример
Компания разворачивает открытую чат-модель на своем сервере, но забывает применить ее шаблон диалога. Модель начинает дописывать вопросы за пользователя. После включения правильного шаблона она отвечает как ассистент.
Связанные термины
Вопросы и ответы
Чем чат-модель отличается от базовой модели?
Чат-модель и чат-бот это одно и то же?
Источники
Где это применяют в компании
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений