Словарь ИИ
Что такое чат-модель
Коротко
Чат-модель это языковая модель, дообученная вести диалог: она понимает роли собеседников, следует инструкциям и отвечает на реплики, а не просто продолжает текст.
Языковые модели · chat model
Редакция ММООЗЗГГ.ruПроверено: 1 минута чтения
Ребенку
Представь говорящего попугая, который повторяет услышанное, и друга, который отвечает на твои вопросы. Обычная нейросеть после первой учебы похожа на попугая: продолжает фразу как получится. Потом ее долго учат разговаривать по очереди, слушать вопрос и отвечать по делу. Так из попугая получается настоящий собеседник.
Простыми словами
Сначала модель учат на огромном количестве текстов, и она умеет только дописывать начатое. Затем ее дообучают на переписках, где у каждой реплики есть роль: пользователь, ассистент, иногда системная инструкция с правилами. Модель привыкает к формату: после вопроса пользователя пишет ответ ассистента и останавливается. Так получается версия для диалога, с которой вы общаетесь в чат-ботах. Например, на сообщение «Привет, помоги с письмом» она не продолжит вашу фразу, а спросит, кому и о чем письмо.
Для бизнеса
Почти все модели, которые подключают к ассистентам и агентам, это чат-модели или их рассуждающие версии. При выборе для компании проверяют, как модель держит системные инструкции на длинном диалоге, не отказывается ли без причины от рабочих задач, грамотно ли пишет по-русски и умеет ли возвращать ответ в заданном формате. Важная деталь для своего сервера: у каждой открытой моделимодель с открытыми весами. Модель с открытыми весами (open-weights model) это нейросеть, файлы параметров которой можно скачать и запустить на своем оборудовании. свой шаблон разметки диалога, и с неправильным шаблоном качество резко падает. Чат-модель не знает ваших цен и регламентов, поэтому для ответов клиентам ее подключают к базе знанийбаза знаний для ИИ. База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы.. Как это выглядит на практике, показывает ИИ-ассистент по документам компании.
Для специалиста
Чат-модель (chat model, instruct-модель) это базовая LLM, прошедшая постобучение на диалоговых данных: обычно инструктивную настройку (SFTSFT. SFT (supervised fine-tuning, контролируемое дообучение) это этап, на котором языковую модель доучивают на парах «запрос и образцовый ответ», чтобы она выполняла инструкции в нужном формате.) и обучение на предпочтениях, например RLHF или DPO; такую схему для InstructGPT описали Ouyang и соавторы (2022). Технически диалог остается последовательностью токеновтокен. Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель.: список сообщений с ролями system, user и assistant превращается в текст шаблоном чата (chat template) с управляющими токенами. Документация Hugging Face отмечает, что модели, дообученные от одной базовой, могут использовать разные шаблоны, а с неверными управляющими токенами качество резко падает. Флаг add_generation_prompt добавляет начало реплики ассистента, без него модель может продолжить сообщение пользователя вместо ответа. Современные шаблоны также размечают вызовы инструментов и блоки рассуждений. Через API такие модели вызывают с массивом сообщений вместо одной строки промпта.
Пример
Компания разворачивает открытую чат-модель на своем сервере, но забывает применить ее шаблон диалога. Модель начинает дописывать вопросы за пользователя. После включения правильного шаблона она отвечает как ассистент.
Связанные термины
Вопросы и ответы
Чат-модель и чат-бот это одно и то же?
Источники
Не уверены, нужно ли это вашей компании?
Карта ИИ-решений