Какую модель выбрать для ИИ-агента

Для ответов на заявки, записи и типовых вопросов поддержки разница между современными моделями в качестве ответа небольшая. Разница в другом: где обрабатываются данные, сколько стоит запрос, как быстро отвечает и как хорошо модель держит ваши правила. Поэтому мы выбираем модель под процесс, а не процесс под модель.

Первый вопрос, если в переписке есть имена и телефоны клиентов. По 152-ФЗ персональные данные граждан России должны обрабатываться на серверах в России. Мы обрабатываем данные в России; какую именно модель и где она развернута, решаем на разборе под ваш процесс и требования.

Агент, который отвечает на тысячу сообщений в день, делает тысячи запросов к модели. Разница в цене запроса между моделями в разы, и на длинной дистанции это заметно. В нашу цену пилота и сопровождения это заложено, но если вы строите агента сами, посчитайте заранее.

Важнее всего для бизнеса. Модель должна отвечать по вашему прайсу, не обещать лишнего и передавать человеку то, что вне правил. Это проверяется не по рейтингам, а на ваших переписках: даем модели сто реальных диалогов и смотрим, где она ошибается. Так мы делаем в первые дни пилота.

Клиент ждет ответ секунды, а не минуту. Модель должна отвечать быстро и стабильно, включая вечер пятницы. Если поставщик модели меняет условия или отключает доступ, агент должен переключиться на другую без остановки процесса. Мы закладываем это в архитектуру.

Да. Модель это одна из частей агента, правила и подключения к вашим системам от нее не зависят. После внедрения вы получаете систему, лицензию, данные и доступы, и замена модели это задача сопровождения, а не новый проект.

Берем сто реальных диалогов из вашей переписки. Даем агенту с одной моделью, потом с другой, и смотрим три вещи по каждому ответу: правда ли, по вашим правилам ли, передал ли человеку то, что должен. Считаем долю ошибок и стоимость запросов. Побеждает не громкое название, а модель, у которой меньше ошибок по правилам при приемлемой цене. Это занимает день и происходит в первые дни пилота.

Иногда результат неожиданный: более дорогая модель ошибается чаще, потому что «домысливает» там, где ваши правила требуют передать человеку.

Правила, на которых учится агент. Подключение к вашим системам, чтобы он отвечал по данным, а не по памяти. Граница передачи человеку. Сопровождение, которое обновляет правила и прайс. Четыре этих вещи дают больше качества, чем смена модели на следующую версию. Поэтому в вопросе «на какой модели» мы отвечаем честно и коротко, а разговор ведем о процессе.

Название модели решает меньше, чем место обработки данных, цена запроса, скорость и то, как модель держит ваши правила. Проверяется на ста ваших диалогах, а не по рейтингам. Модель можно поменять потом: правила и подключения от нее не зависят.