Аналитика, машинное обучение /machine learning, ML и ИИ/AI на пальцах
Как за 30 минут развернуть локального RAG-помощника на LLM
Бесплатно, легально в РФ (без облаков и регистраций)
Практика
Контекст:
Шаг № 1. Архитектура системы
Шаг № 2. Устанавливаем Сервер инференса и модели
Шаг № 3. Поднимаем локальный сервер инференса
Шаг № 4. Установка RAG-клиента (Open WebUI)
🔗 Шаг №5. Подключение Open WebUI к LM Studio
После регистрации в Open WebUI выполните настройку:
1. Кликните на иконку профиля (аватар) в правом нижнем углу → выберите «Настройки администратора».
2. В левом меню выберите «Подключения» (Connections).
3. В блоке OpenAI нажмите на иконку шестерёнки → «Добавить подключение».
4. Заполните поля:
- URL: http://127.0.0.1:1234/v1
- API-ключ: любой текст, например sk-dummy (LM Studio не проверяет ключ)
5. Нажмите «Сохранить».
6. В выпадающем списке моделей (слева вверху) должна появиться ваша модель. Выберите её.
✅ Проверка
Задайте вопрос в чате Open WebUI. Если приходит ответ — всё работает. Теперь переходите к созданию рабочего пространства и загрузке документов для RAG.
🔄 Как перезапускать систему после перезагрузки ПК (через VS Code)
После перезагрузки все сервисы останавливаются. Чтобы запустить их снова:
1. Откройте VS Code и его терминал
- Запустите VS Code
- Откройте папку проекта: File → Open Folder → C:\Users\PC\Desktop\open-webui-project
- Откройте терминал: Terminal → New Terminal или `` Ctrl + ` ``
2. Активируйте conda-окружение
conda activate open-webui
3. Откройте LM Studio и включите сервер
- Запустите LM Studio
- Перейдите во вкладку Developer
- Включите переключатель «Status: Running» (или «Enable Local LLM Service»)
- Убедитесь, что адрес: http://127.0.0.1:1234
4. Запустите Open WebUI
open-webui serve
5. Откройте браузер
http://localhost:8080
✅ Чек-лист для быстрого запуска
• Открыть VS Code
• Открыть терминал (`` Ctrl + ` ``)
• `conda activate open-webui` (в терминале VS Code)
• Открыть LM Studio, включить сервер (отдельное окно)
• open-webui serve (в терминале VS Code)
• Открыть http://localhost:8080 (в браузере)
💥 Как ускорить перезапуск: bat-файл для одного клика
Создайте на рабочем столе файл start_rag.bat с таким содержимым (важно, путь к LM Studio может отличаться: проверьте его через ярлык (Свойства → «Объект»)):
@echo off
start "" "C:\Users\PC\AppData\Local\Programs\LM Studio\LM Studio.exe"
timeout /t 5 /nobreak >nul
cd /d C:\Users\PC\Desktop\open-webui-project
call C:\Users\PC\anaconda3\Scripts\activate.bat
conda activate open-webui
start cmd /k open-webui serve
Как создать:
1. Откройте Блокнот
2. Вставьте команды
3. Нажмите «Файл → Сохранить как…»
4. В поле «Тип файла» выберите «Все файлы (*.*)»
5. Введите имя: start_rag.bat
6. Нажмите «Сохранить»
Теперь запускайте этот файл двойным кликом после каждой перезагрузки — он откроет LM Studio и поднимет Open WebUI.
💬 Далее
Шаг №6 (последний). Загружаем документы и тестируем RAG Если у вас установлено приложение,
вы можете сразу перейти в канал