LiteLLM

LiteLLM 是一个开源、高性能的大型语言模型代理。它提供统一的 OpenAI 兼容 API，支持 100+ LLM 提供商，包括 OpenAI、Anthropic、Google Gemini、Azure、AWS Bedrock、Cohere 等。

特点

• 统一 API — 使用 OpenAI API 格式调用 100+ LLM
• 负载均衡 — 在多个模型和提供商之间路由请求
• 成本追踪 — 按 Key、用户和团队监控消费
• 速率限制 — 为每个 API Key 设置 RPM/TPM 限制
• 管理界面 — 内置 Web 控制台，管理模型、密钥和使用量

使用方式

1. 部署完成后，访问 https://<你的域名>/ui 进入 LiteLLM 管理界面。
2. 使用用户名 admin 和服务说明中显示的 Master Key 登录。
3. 前往 Models 标签页添加你的 LLM 提供商 API Key（如 OpenAI、Anthropic）。
4. 使用 https://<你的域名> 作为 OpenAI 兼容 API 地址。

注意事项

• 首次启动需要 1–2 分钟执行数据库迁移。
• PostgreSQL 数据库已自动包含并配置。

更多信息，请访问 LiteLLM 官方文档。