Агент с базой знаний: как ИИ отвечает по документам компании

RAGRAG RAG это схема, в которой ИИ сначала находит нужные фрагменты в ваших документах, а потом отвечает, опираясь на них. Подробнее в словаре (Retrieval-Augmented Generation, генерация с поиском) значит, что модель сначала ищет, а потом отвечает. Документы заранее режут на фрагменты по абзацу-два и превращают в векторы: наборы чисел, по которым программа находит близкие по смыслу тексты.

Векторы хранят в векторной базе. Это база данных, которая ищет не по точным словам, а по смыслу: на вопрос «как вернуть товар» она найдет и раздел «возврат и обмен».

Когда клиент или сотрудник задает вопрос, агент берет несколько ближайших фрагментов и передает их модели вместе с вопросом. Модель отвечает по найденному тексту и называет документ, из которого взят ответ.

Чтобы обновить знания агента, достаточно заменить документ в базе и обработать его заново. Весь путь по шагам разобран в инструкции как сделать RAG-систему за 7 шагов.

RAG нужен, когда ответ лежит в документах, которых много и которые меняются: база знаний поддержки, регламенты, каталог с характеристиками, договоры, инструкции для сотрудников.

Если документов мало, поиск может быть лишним. Anthropic в сентябре 2024 года писала: базу знаний меньше 200 000 токеновтокен Токен это кусочек текста: слово, часть слова или знак, с которыми работает языковая модель. Подробнее в словаре, это около 500 страниц, можно целиком положить в запрос к модели. Токен это кусок слова, по которому модель считает объем текста и цену.

RAG не поможет и там, где ответ берется из живой системы: свободное окно в календаре, статус заказа, остаток на складе. Такие данные агент получает инструментом в момент вопроса, об этом страница про агента без базы знаний.

Простая проверка: если сотрудник отвечает на вопрос, открыв папку с документами, задаче подходит RAG. Если он открывает CRM или 1С, нужен доступ к системе.

Для первого агента с базой знанийбаза знаний для ИИ База знаний для ИИ это отобранные и подготовленные документы компании, по которым ИИ-ассистент ищет ответы: регламенты, инструкции, каталог, ответы на частые вопросы. Подробнее в словаре хватит визуального конструктора. Flowise распространяется по лицензии Apache 2.0. Dify тоже на Apache 2.0, но с двумя условиями: без разрешения нельзя запускать на нем многопользовательский облачный сервис по типу Dify и убирать логотип из консоли.

В Flowise база знаний называется Document Store (хранилище документов). Порядок по документации:

1. Создайте Document Store и дайте ему имя.

2. Выберите Document Loader (загрузчик документов), например PDF Loader для файлов PDF, и загрузите файл.

3. Выберите Text Splitter (разделитель текста), например Recursive Character Text Splitter, и задайте размер фрагмента в поле «Chunk Size» и перекрытие соседних фрагментов в поле «Chunk Overlap».

4. Посмотрите в предпросмотре, как текст режется на фрагменты, и запустите обработку.

5. На карточке «Select Embeddings» выберите модель, которая превращает текст в векторы, на карточке «Select Vector Store» выберите векторную базу. Размерность векторов у модели и у базы должна совпадать, иначе загрузка не пройдет.

6. Нажмите «Upsert» (загрузить в базу), затем «Retrieval Query» (проверочный запрос), чтобы увидеть, какие фрагменты находятся по вопросу.

7. Подключите хранилище к агенту: в Agentflow через узел Agent или напрямую через векторную базу и модель векторов.

В Dify путь короче: раздел «Knowledge», кнопка «Create», вариант «Create a ready-to-use knowledge base», загрузка файлов, настройка фрагментов с предпросмотром, выбор способа индексации и поиска.

Чаще всего агент ошибается не в ответе, а в поиске: он нашел не тот фрагмент и честно его пересказал. Поэтому качество проверяют на двух шагах: нашлось ли нужное место и верно ли модель его передала.

Точность поиска повышают известными приемами. Anthropic в сентябре 2024 года показала: если к каждому фрагменту добавить короткое пояснение, откуда он, и искать сразу по смыслу и по словам, неудачных поисков становится меньше на 49%, а с повторной сортировкой результатов на 67%.

Частые причины плохих ответов проще любых приемов: сканы без текстового слоя, старые версии документов рядом с новыми, таблицы, разрезанные посередине. Почистить документы обычно полезнее, чем менять модель.

В инструкции агенту пропишите три правила: отвечать только по найденным фрагментам, называть документ и говорить «не знаю», если ответа в базе нет.

Перед запуском соберите несколько десятков настоящих вопросов с правильными ответами и прогоняйте их после каждого изменения базы. Как это делать, разобрано на странице о тестировании ИИ-агента.

База знаний выдает все, что в нее загрузили. Если положить туда зарплатную ведомость, агент перескажет ее любому, кто правильно спросит.

OWASP, открытое сообщество специалистов по безопасности, в списке рисков 2025 года выделяет слабости векторных баз: при слабом разграничении доступа агент выдает фрагменты, которые пользователю видеть нельзя. Совет оттуда же: права доступа на уровне хранилища и раздельные наборы данныхдатасет Датасет (dataset) это набор данных, собранный и оформленный для обучения или проверки модели: таблица, папка с картинками или корпус текстов, где каждый пример описан одинаково. Подробнее в словаре для разных групп пользователей.

На практике это отдельная база для клиентов и отдельная для сотрудников. Документы с ограниченным доступом лежат только в базе, к которой подключены те, кому они положены.

Если в документах есть персональные данные клиентов, действует 152-ФЗ: по ч. 5 ст. 18 запись и хранение данных граждан России в базах за пределами страны не допускаются. Это касается и векторной базы, и модели, которая читает фрагменты. Как мы храним данные, описано на странице о безопасности данных.