自动 LLM 路由
多模态自适应路由器
Neurova 的 LLM Router 根据请求类型自动选择最佳模型,支持 10 种请求类型与多模态能力匹配。
请求类型检测
| 请求类型 | 说明 | 匹配能力 |
|---|---|---|
| CHAT | 文本聊天 | TEXT |
| IMAGE_UNDERSTANDING | 图像理解 | VISION |
| AUDIO_UNDERSTANDING | 音频理解 | AUDIO |
| VIDEO_UNDERSTANDING | 视频理解 | VIDEO |
| TEXT_TO_IMAGE | 文生图 | IMAGE_GENERATION |
| IMAGE_TO_IMAGE | 图生图 | IMAGE_GENERATION |
| TEXT_TO_VIDEO | 文生视频 | VIDEO_GENERATION |
| IMAGE_TO_VIDEO | 图生视频 | VIDEO_GENERATION |
| TEXT_TO_SPEECH | 语音合成 | TTS |
| SPEECH_TO_TEXT | 语音识别 | STT |
选择算法
- 能力匹配 — 过滤掉不支持所需能力的模型
- 健康检查 — 跳过不健康的提供商
- 优先级排序 — 按优先级权重排序
- 响应时间优化 — 优先选择响应快的模型
- 权重评分 — 综合评分选择最佳模型
自动路由示例
result = router.select_model(request_type)
# → 自动路由到最佳模型
```
## 与 LLM Provider 管理的关系
LLM Router 负责"选哪个模型",LLM Provider Manager 负责"有哪些模型可用"(元数据/发现/路由)。两者配合:**Router 检测请求类型 → Provider 提供候选模型 → Router 按能力/健康/权重评分决策**。
## 关键文件
neurova/llm/
├── llm_router.py # 请求类型检测 + 模型选择
├── provider_manager.py # 服务商管理(候选模型源)
└── multi_model_client.py # 多模型客户端(流式/异步)