ММООЗЗГГ.ru

Разбор

Как сделать RAG-систему своими руками: от документов до ответа со ссылкой

8 мин19 источников

Как сделать RAG-систему: собрать документы, разрезать их на фрагменты, превратить фрагменты в векторы, найти нужные по вопросу и отдать модели вместе с вопросом. Подход описан в 2020 году и позволяет агенту работать с вашими документами без обучения модели. Ниже 7 шагов в двух вариантах: без кода во Flowise и с кодом на LangChain с открытыми моделями через Ollama.

На странице · 7 разделов

Соберете сами за неделю

Шаг 1: документы

Схема RAG-системы из семи шагов: собрать документы, разбить на фрагменты, превратить фрагменты в векторы, сохранить в векторную базу, найти фрагменты по вопросу, передать модели вопрос и фрагменты, получить ответ со ссылкой на источник. Модель при этом не обучают, она отвечает по найденному.

Первый шаг: собрать документы. Возьмите то, о чем сотрудники и клиенты спрашивают чаще всего: регламенты, прайс, условия договоров, ответы поддержки. Устаревшие версии уберите сразу, иначе поиск найдет и их.

Если знания уже лежат в CRM, базе SQL или внутренней вики, переносить их не обязательно. Документация LangChain советует подключить такую систему к агенту как инструмент.

1. Без кода. Во Flowise откройте «Document Stores», добавьте хранилище и выберите загрузчик под формат файлов, например «PDF Loader». Добавьте свою метку метаданных: по ней потом можно отобрать фрагменты именно этого набора.

2. С кодом. В примере LangChain каждая страница PDF становится объектом Document с текстом и метаданными: имя файла в поле source и номер страницы в поле page. Эти поля понадобятся на шаге 6 для ссылки на источник.

Ту же схему без кода собирают и в Dify. Он распространяется по Apache 2.0 с двумя условиями: без разрешения нельзя запускать многопользовательский облачный сервис по типу Dify и убирать логотип из консоли.

Если в документах есть персональные данные клиентов, действует 152-ФЗ: их собирают и хранят в базах на территории России, а до передачи за границу уведомляют Роскомнадзор. Поэтому векторную базу и модели для таких документов ставят на свой сервер, подробнее на странице о безопасности данных.

Шаг 2: фрагменты

Второй шаг: разбить документы на фрагменты. Модель получает не весь файл, а несколько кусков по теме вопроса. Так ответ точнее и дешевле, ведь оплата моделей идет за объем текста.

Размер фрагмента задают в знаках. Перекрытие повторяет конец предыдущего фрагмента в начале следующего, чтобы мысль на границе не потерялась.

1. Без кода. Во Flowise выберите нарезку «Recursive Character Text Splitter»: она ищет естественные границы, например концы предложений и разделов. Для текстов в Markdown есть «Markdown Text Splitter», для веб-страниц «HTML-to-Markdown Text Splitter».

2. Посмотрите предпросмотр фрагментов. В примере документации Flowise фрагмент 1500 знаков с перекрытием 750. Каждый кусок должен читаться отдельно, а лишние после обработки можно удалить вручную.

3. С кодом. В LangChain тот же способ задают строкой RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200, add_start_index=True). Параметр add_start_index запоминает место фрагмента в исходном документе.

Готового размера на все случаи нет. Документация Flowise прямо советует пробовать разные нарезки, размеры и перекрытия на своих документах.

Подготовка базы, один раз1Собрать документы2Разбить на фрагменты3Превратить фрагменты в векторы4Сохранить в векторную базуОтвет на вопрос, каждый раз5Найти фрагменты по вопросу6Передать модели вопрос и фрагменты7Ответ со ссылкой на источник
RAG за 7 шагов

Шаг 3: эмбеддинги

Третий шаг: превратить фрагменты в векторы. Эмбеддинг это набор чисел, который записывает смысл фрагмента: близкие по смыслу тексты получают близкие наборы. Векторы считает отдельная модель эмбеддингов, а не та, что пишет ответы.

Длина вектора зависит от модели, обычно от 384 до 1024 чисел. Документы и вопросы обрабатывают одной и той же моделью. Размерность модели и индекса векторной базы должна совпадать, иначе загрузка закончится ошибкой.

Для русских документов нужна многоязычная модель. Например, bge-m3 в каталоге Ollama поддерживает больше 100 языков и принимает текст до 8192 токенов, то есть кусков слов, которыми считает модель.

1. Без кода. Во Flowise нажмите карточку «Select Embeddings» и выберите «Ollama Embeddings», чтобы векторы считались на вашем компьютере или сервере.

2. С кодом. Скачайте модель командой ollama pull bge-m3. Проверка: ollama run bge-m3 "Привет" выводит вектор массивом чисел.

3. В LangChain модель подключают пакетом langchain-ollama: pip install -qU langchain-ollama, затем в коде OllamaEmbeddings(model="bge-m3").

Шаг 4: векторная база

Четвертый шаг: сохранить векторы в векторную базу. Это хранилище, которое быстро находит векторы, близкие к вектору вопроса. Какие открытые базы есть и как их выбрать, разобрано на странице о векторной базе.

1. Без кода. Во Flowise нажмите «Select Vector Store» и выберите базу.

2. Добавьте «Record Manager». Он хранит отпечаток каждого фрагмента и при повторной загрузке пропускает то, что уже есть в базе.

3. Нажмите «Upsert», чтобы загрузить фрагменты в базу.

4. С кодом. Для пробы в LangChain есть InMemoryVectorStore: база в памяти программы, ставить ничего не нужно. Фрагменты загружают строкой vector_store.add_documents(documents=all_splits).

Для работы с людьми базу в памяти меняют на постоянную. У LangChain есть готовые пакеты для Chroma, Milvus, Postgres и Qdrant, код поиска при этом почти не меняется.

Шаг 5: поиск

Пятый шаг: найти фрагменты по вопросу. Вопрос превращается в вектор той же моделью, а база возвращает ближайшие фрагменты. Для смыслового поиска документация Ollama советует меру близости по косинусу угла между векторами.

Сколько фрагментов вернуть, задает параметр top K, во Flowise по умолчанию 4. Мало фрагментов, и ответ упустит часть фактов. Много, и ответ дороже, а в подсказку попадает лишнее.

1. Без кода. Во Flowise нажмите в хранилище «Retrieval Query» и задайте тестовый вопрос. Вы увидите, какие фрагменты нашлись.

2. С кодом. В LangChain поиск запускают методом vector_store.similarity_search с текстом вопроса.

3. Метод similarity_search_with_score возвращает еще и оценку близости. Ее смысл зависит от базы: в примере документации LangChain меньшее число значит большую близость.

Шаг 6: ответ со ссылкой

Шестой шаг: передать модели вопрос и найденные фрагменты. В инструкции модели напишите: отвечай только по фрагментам, а если ответа в них нет, скажи об этом и передай вопрос человеку. Почему агент без такого правила ошибается, разобрано в статье о том, почему агент отвечает неправильно.

Итог схемы: ответ со ссылкой на источник. Ссылка показывает файл и страницу, откуда взят факт, и сотрудник проверяет ответ сам, не перечитывая весь регламент.

1. Без кода. В Agentflow V2 Flowise подключите векторную базу к блоку «Agent» и включите «Return Source Documents»: вместе с ответом агент вернет сведения об источниках.

2. Если нужен только поиск без рассуждений агента, поставьте блок «Retriever» и выберите формат «Text with Metadata»: фрагменты придут с именами документов.

3. С кодом. Подпишите каждый найденный фрагмент полями source и page из шага 1 и передайте модели вместе с вопросом. Попросите ставить в ответе номер фрагмента, а программа заменит номер на имя файла и страницу.

Как такой агент отвечает сотрудникам и клиентам по базе знаний компании, мы разобрали на странице про RAG-агента.

Шаг 7: проверка качества

Ответ со ссылкой на источник проверяют до запуска: верен ли ответ и ведет ли ссылка туда, где написан факт. Соберите набор реальных вопросов с правильными ответами и источниками, включая вопросы, ответа на которые в документах нет.

Проверяйте поиск и ответ по отдельности. Если нужного нет среди найденных фрагментов, меняйте нарезку, перекрытие или top K. Если фрагменты верные, а ответ нет, правьте инструкцию модели или берите модель сильнее.

В n8n такой прогон делают легкие оценки. На своем сервере они доступны в версии Community после бесплатной регистрации.

1. Создайте таблицу данных или Google Sheets с колонками: вопрос, ожидаемый ответ и пустая колонка для ответа агента.

2. Поставьте в процесс узел «Evaluation Trigger»: он подает вопросы из таблицы по одному.

3. После агента добавьте узел «Evaluation» с действием «Set outputs» и запишите ответ в пустую колонку.

4. Нажмите «Execute workflow» слева от триггера оценки и сравните ответы с ожидаемыми.

Повторяйте прогон после каждого обновления документов. Как составить набор вопросов и какие метрики считать, разобрано на странице о тестировании агента.

Вопросы и ответы

Когда RAG-система не нужна?

Когда документов мало. По данным Anthropic, базу знаний меньше 200 000 токенов, это около 500 страниц, можно целиком положить в запрос к модели без поиска по фрагментам. Если знания уже лежат в CRM, базе SQL или внутренней вики, их тоже не переносят в векторную базу, а подключают к агенту как инструмент.

Какую модель эмбеддингов взять для русских документов?

Многоязычную, например bge-m3 из каталога Ollama: она поддерживает больше 100 языков и принимает текст до 8192 токенов. Документы и вопросы обрабатывают одной и той же моделью. Если позже смените модель, векторы придется пересчитать, потому что размерность модели и индекса базы должна совпадать.

Какую векторную базу выбрать?

Для пробы хватит базы в памяти программы, для работы нужна постоянная. Если компания уже работает на Postgres, расширение pgvector хранит векторы рядом с остальными данными. Qdrant и Chroma распространяются по Apache 2.0, Milvus рассчитан на миллиарды векторов и распределенную работу.

Как не показать сотруднику чужие документы?

Разделить доступ на уровне базы, а не в инструкции модели. OWASP в перечне рисков 2025 года предупреждает: при слабом разграничении прав векторы с чувствительными данными становятся доступны посторонним. Каждому фрагменту ставят метку отдела или группы в метаданных и фильтруют поиск по правам того, кто спрашивает.

Как обновлять базу, когда документы меняются?

Через Record Manager во Flowise или его аналог: он хранит отпечаток каждого фрагмента и пропускает то, что не изменилось. В режиме Incremental удаляются старые версии изменившихся документов, в режиме Full все, чего нет в текущей загрузке. После каждого обновления повторяйте прогон проверочных вопросов из шага 7.

Источники и проверка

Проверено редакцией 16 октября 2026.

  1. arXiv 2005.11401, 22 мая 2020 (arxiv.org)
  2. GitHub, langgenius/dify, LICENSE, 2026 (github.com)
  3. Brace Law Firm, 9 июля 2023 (brace-lf.com)
  4. Flowise Docs, 2026 (docs.flowiseai.com)
  5. LangChain Docs, 2026 (docs.langchain.com)
  6. Ollama Docs, 2026 (docs.ollama.com)
  7. Ollama Library, 2026 (ollama.com)
  8. LangChain Docs, 2026 (docs.langchain.com)
  9. Flowise Docs, 2026 (docs.flowiseai.com)
  10. n8n Docs, 2026 (docs.n8n.io)
  11. Документация Flowise: Record Managers, проверено 16 октября 2026 (docs.flowiseai.com)
  12. Документация Ollama: CLI Reference, проверено 16 октября 2026 (docs.ollama.com)
  13. Anthropic, Contextual Retrieval, 19 сентября 2024 (anthropic.com)
  14. OWASP, LLM08:2025 Vector and Embedding Weaknesses, 2025 (genai.owasp.org)
  15. GitHub, pgvector/pgvector, 2026 (github.com)
  16. GitHub, qdrant/qdrant, 2026 (github.com)
  17. GitHub, chroma-core/chroma, 2026 (github.com)
  18. GitHub, milvus-io/milvus, 2026 (github.com)
  19. Документация Qdrant: Multitenancy, 2026 (qdrant.tech)

Нашли ошибку? Напишите нам

Публикации

Как создать чат-бот в Максе: инструкция для компании

Чтобы создать чат-бот в Максе, компании нужно пройти четыре шага на платформе MAX для партнеров: проверить профиль организации через Госуслуги, заполнить карточку бота, дождаться модерации до 48 часов по рабочим дням и собрать сценарий в конструкторе или своим кодом. Ниже каждый шаг по документации MAX, проверенной 16 октября 2026 года, а также как связать бота с сайтом, CRM и командой и на чем бо

ИнструкцияИТСредний11 мин
Написать в Telegram