Аналитика, машинное обучение /machine learning, ML и ИИ/AI на пальцах
Как за 30 минут развернуть локального RAG-помощника на LLM
Бесплатно, легально в РФ (без облаков и регистраций)
Практика
Контекст:
Шаг № 1. Архитектура системы
Шаг № 2. Устанавливаем Сервер инференса и модели
Шаг № 3. Поднимаем локальный сервер инференса
Шаг № 4. Установка RAG-клиента (Open WebUI)
Шаг № 5. Подключение Open WebUI к LM Studio
📝 Шаг №6: Загружаем документы и тестируем RAG
1. Создаём рабочее пространство
- На главном экране Open WebUI нажмите «Рабочее пространство» (Workspace)
- Дайте имя, например: «Аналитика»
- В выпадающем списке выберите модель
🛠️ 2. Параметры индексации RAG
Перед загрузкой документов настройте параметры индексации — это влияет на то, как модель видит ваш файл.
Где искать:
Настройки администратора (аватар в правом нижнем углу) → Настройки → Документы
Что изменить?
1. Уменьшить размер чанка (Chunk Size): 256 (вместо 512)
Маленькие чанки лучше для таблиц — модель не теряет строки
2. Увеличить количество чанков (Top-K) со стандартных 5 до 10-15ти
Больше чанков = больше данных попадает в контекст
3. Установить перекрытие чанков (Chunk Overlap) 50–100 токенов
Перекрытие, чтобы данные не обрывались на границе чанка
⚠️ Важно:
Новые настройки применятся только к новым загрузкам! Удалите ранее загруженный документ из Рабочего пространства (если уже загружали).
⚙️ 3. Настройка контекстного окна модели
При работе с большим количеством данных вы можете получить ошибку, например:
`n_keep: 8686 >= n_ctx: 8192` — это означает, что ваш запрос превышает лимит модели.
В этом случае нужно настроить контекстное окно (Context Length)
Где настраивать?
Проще через интерфейс LM Studio (можно через командную строку):
- Откройте вкладку «My Models»
- Выберете нужную модель, нажмите на иконку шестерёнки (⚙️)
- Найдите поле Context Length (или n_ctx)
- Установите нужное значение (например, 16384)
- Сохраните настройки
- Перезагрузите модель: нажмите «Unload», а затем снова «Load»
Готово! Теперь модель будет загружаться с новым размером контекста.
⚠️ Важно:
- Увеличение контекстного окна требует больше оперативной и видеопамяти. Если модель не загружается после увеличения — попробуйте уменьшить значение или переключить движок на CPU (расширенные настройки)
- Изменения применяются только при загрузке. Context Length — это параметр, который задаётся во время загрузки модели в память. Поэтому после изменения настроек обязательно перезагружайте модель.
4. Загружаем документы
- Внутри рабочего пространства перейдите во вкладку «Знания» (Knowledge)
- Нажмите «Загрузить» и выберите файлы (поддерживаются PDF, CSV, TXT, DOCX)
- Можно добавить URL веб-страницы — система спарсит и проиндексирует её
Что под капотом:
Open WebUI автоматически разбивает документы на чанки, вычисляет эмбеддинги (векторы) и сохраняет их во встроенную векторную БД (ChromaDB).
5. Два способа загрузки документов
• Постоянное хранилище (документы нужны постоянно) | Вкладка «Знания» (Knowledge) в Рабочем пространстве
• Одноразовая загрузка (разовый файл) | Скрепка в чате
Используйте постоянное хранилище — документы не потеряются после перезагрузки.
✅ 6. Как проверить, что RAG работает
- Задайте вопрос, ответ на который есть только в ваших документах (модель не может знать без контекста)
- Если ответ пришёл и содержит информацию из документов — RAG работает!
- Если модель отвечает «не знаю» или придумывает — проверьте настройки индексации
7. Настройка качества ответов (если в тестовом вопросе есть неточности)
Классическая проблема RAG — модель получает не весь файл целиком, а фрагменты (чанки). Поэтому в зависимости от настроек:
1. Модель видит не все данные
2. Модель путает данные
📌 Чек-лист если ответы неточные
Модель видит не все данные → Увеличьте Top-K
Таблица путается→ Переформатируйте в CSV с заголовками
Модель придумывает → Уменьшите Chunk Size
Слишком длинные ответы → Измените температуру модели (в настройках чата)
Готово! Теперь у вас есть локальный RAG-помощник. 🚀
💬 Далее
Тестируем RAG и боремся с галлюцинациями Если у вас установлено приложение,
вы можете сразу перейти в канал