Добавить приоритетную очередь, аутентификацию и администрирование

- Приоритетная очередь для контроля параллельных запросов
- Аутентификация по API-ключу из URL (/auth/<key>/v1/...)
- Роли пользователей с белым списком моделей и ограничением контекста (num_ctx)
- Sliding window rate limiting
- Admin API для горячей перезагрузки users.json без перезапуска прокси
- Graceful shutdown с таймаутом завершения активных запросов
- Маскировка API-ключа в логах
- Подробная инструкция по установке для Windows и Linux (SETUP_WIN_SERVER.md)
This commit is contained in:
2026-03-28 15:15:51 +03:00
parent a647921841
commit 5118914823
18 changed files with 1488 additions and 47 deletions

20
users.example.json Normal file
View File

@@ -0,0 +1,20 @@
{
"roles": {
"vip": {
"priority": 100,
"allowed_models": ["qwen3:32b", "qwen3:0.6b"],
"max_context_length": 32768,
"rate_limit": { "requests": 60, "window": "1m" }
},
"regular": {
"priority": 10,
"allowed_models": ["qwen3:0.6b"],
"max_context_length": 8192,
"rate_limit": { "requests": 20, "window": "1m" }
}
},
"users": {
"key-abc123": { "name": "Иванов", "role": "vip", "enabled": true },
"key-xyz789": { "name": "Петров", "role": "regular", "enabled": true }
}
}