Chainlit — ИИ по документам

Контекст и задача

Ответ на рабочий вопрос часто уже есть в документации. Но его приходится искать среди десятков страниц регламента, спецификации или технического описания. Использовать внешний ИИ-сервис для таких материалов можно далеко не всегда: документы должны оставаться в инфраструктуре компании.

В Routeam разработали собственного ассистента для работы с PDF. Пользователь загружает документ и задаёт вопрос обычным языком, а система подбирает релевантные фрагменты и формирует ответ по их содержанию.

Главное требование — разместить обработку документов и языковую модель на своём сервере, сохранив простой интерфейс чата.

Исследование

Решение выросло из внутренней потребности команды в работе с техническими документами. В основу положили конкретный сценарий: открыть чат, загрузить PDF и получить ответ без предварительного копирования и разметки текста.

Для этого выбрали подход RAG: система сначала находит подходящие фрагменты документа, затем передаёт их локальной языковой модели. Интерфейс построили на Chainlit и дополнили функциями, необходимыми для рабочего использования.

Решение

От PDF к диалогу

Файл загружается прямо в чат. Система переводит PDF в Markdown с сохранением структуры, разбивает текст на смысловые фрагменты и создаёт векторный индекс. Пользователь получает возможность работать с содержимым без ручной подготовки документа.

Поиск по смыслу вопроса

Ассистент находит релевантные фрагменты и передаёт их языковой модели для подготовки ответа. В основе ответа — выбранный контекст документа. Так поиск и формулирование ответа объединены в одном сценарии.

Модель на собственном сервере

Qwen3-8B работает локально через vLLM. Команда написала отдельный коннектор между vLLM и Chainlit. Документы и запросы обрабатываются внутри собственного контура без обращения к внешним LLM-API.

Рабочее пространство пользователя

Поверх базового интерфейса добавлены авторизация, история диалогов и загрузка файлов. Пользователь может вернуться к предыдущему обсуждению. Сервис упакован в Docker и развёрнут на сервере Routeam.

Технологии

Python и Chainlit — приложение и чат-интерфейс. vLLM и Qwen3-8B — локальное выполнение языковой модели. Конвертация PDF в Markdown, векторные эмбеддинги и поиск по фрагментам формируют RAG-пайплайн. Docker обеспечивает развёртывание сервиса.

Результат

Создана рабочая версия ассистента, которая превращает PDF в доступный для вопросов источник информации. Весь путь — от загрузки файла до ответа — проходит в одном окне, а модель и документы остаются на сервере Routeam.

Команда реализовала полный цикл обработки, интеграцию с локальной LLM и пользовательские функции. Решение работает на собственном сервере; следующий этап — внедрение в повседневные процессы компании.

Проект показывает, как организовать работу с корпоративной документацией через привычный чат, сохранив контроль над размещением данных и модели.