114 字
1 分钟
AI 网关使用笔记
把各个渠道的模型统一到一个网关后面，最大的好处不是省事，而是可观测：
| 指标 | 以前 | 现在 |
|---|---|---|
| 调用量 | 不知道 | 按渠道、按模型统计 |
| 失败率 | 靠感觉 | 日志里能查 |
| 成本 | 月底看账单 | 实时额度 |
唯一要注意的是内存：单次上下文太长时，网关的堆会涨得很快，记得给它设上限。
分享
如果这篇文章对你有帮助，欢迎分享给更多人！
部分信息可能已经过时
把各个渠道的模型统一到一个网关后面，最大的好处不是省事，而是可观测：
| 指标 | 以前 | 现在 |
|---|---|---|
| 调用量 | 不知道 | 按渠道、按模型统计 |
| 失败率 | 靠感觉 | 日志里能查 |
| 成本 | 月底看账单 | 实时额度 |
唯一要注意的是内存：单次上下文太长时，网关的堆会涨得很快，记得给它设上限。
如果这篇文章对你有帮助，欢迎分享给更多人！
部分信息可能已经过时