Свои коллекции знаний
Материалы режутся на фрагменты, превращаются в векторы и складываются в базу. По каждой теме своя коллекция, чтобы ответы не смешивались между областями.
RAG-платформа on-premise
Поиск и ответы по своим документам
Модель отвечает на вопросы по вашим материалам, а не по интернету. Всё работает на своём железе, поэтому документы не покидают контур компании.
- Qdrant
- Ollama
- FastAPI
- Python
- MCP
Задача
Знания компании лежат в регламентах, переписке, документации и головах сотрудников. Поиск по названию файла тут не помогает: человек спрашивает словами, а не именами документов.
Готовые облачные сервисы задачу решают, но требуют загрузить всё это наружу. Для части материалов такой вариант просто не обсуждается.
Как устроено
Всё на своём железе
Векторная база, модель для векторизации и языковая модель работают на вашем сервере. Наружу не уходит ни документ, ни вопрос.
Доступ из своих сервисов
Поиск доступен по программному интерфейсу, поэтому им пользуются и боты, и внутренние сервисы, и рабочие инструменты сотрудников.
Дисциплина заливки
Материалы попадают в базу единым конвейером с проверкой формата. Это скучная часть, но именно на ней ломается большинство подобных систем.
Что это даёт
- Ответы по внутренним материалам вместо поиска по названиям файлов
- Конфиденциальные документы остаются внутри компании
- Нет расходов на облачные модели для этой задачи
- Поиск встраивается в существующие сервисы, а не живёт отдельным сайтом
Кому подходит
Компаниям с большим объёмом внутренних материалов и требованиями к конфиденциальности: юридические документы, регламенты, наработки экспертизы.
Система работает у нас в боевой эксплуатации. Разворачиваем такую же на вашей инфраструктуре или дорабатываем под ваш процесс.
Частые вопросы
Данные точно не уходят наружу?
При установке на ваше железо - да. Векторная база и модели работают локально, внешние вызовы в этой схеме не нужны.
Какие форматы документов поддерживаются?
Обычные рабочие: текст, разметка, PDF, документы, электронные книги. Всё проходит через единый конвейер обработки.
Почему нельзя просто загрузить документы в чат-бота?
Можно, если материалов немного и они не конфиденциальны. На объёме это перестаёт работать: модель не удержит всё в контексте, а стоимость каждого запроса вырастет в разы.
Что чаще всего ломается в таких системах?
Заливка данных. Если материалы попадают в базу в неправильном формате, поиск формально работает, но возвращает пустоту. Мы наступали на это и потому держим единый конвейер с проверкой.
Нужно похожее решение?
Расскажите про задачу, посмотрим, что из этого применимо у вас.