智能路由

目标

在不牺牲体验的前提下，优先选择更合适、更便宜、可用性更高的模型。

现在已经有的能力

• 选择默认模型
• 按 key 设置不同档位
• 记录请求、token 和账单
• 为后续策略优化保留路由信息

后续会继续增强的方向

• 更精细的模型选择策略
• 基于能力、成本和延迟的综合排序
• 更强的预算和限额控制
• 更清楚的路由可视化

对客户的实际意义

• 请求更容易成功
• 账单更容易预测
• 上线后可以逐步把成本压下来