LiteLLM

LiteLLM 是一個開源、高效能的大型語言模型代理。它提供統一的 OpenAI 相容 API，支援 100+ LLM 提供商，包括 OpenAI、Anthropic、Google Gemini、Azure、AWS Bedrock、Cohere 等。

特點

• 統一 API — 使用 OpenAI API 格式呼叫 100+ LLM
• 負載均衡 — 在多個模型和提供商之間路由請求
• 成本追蹤 — 按 Key、使用者和團隊監控消費
• 速率限制 — 為每個 API Key 設定 RPM/TPM 限制
• 管理介面 — 內建 Web 控制台，管理模型、金鑰和使用量

使用方式

1. 部署完成後，造訪 https://<你的網域>/ui 進入 LiteLLM 管理介面。
2. 使用使用者名稱 admin 和服務說明中顯示的 Master Key 登入。
3. 前往 Models 標籤頁新增你的 LLM 提供商 API Key（如 OpenAI、Anthropic）。
4. 使用 https://<你的網域> 作為 OpenAI 相容 API 位址。

注意事項

• 首次啟動需要 1–2 分鐘執行資料庫遷移。
• PostgreSQL 資料庫已自動包含並設定。

更多資訊，請造訪 LiteLLM 官方文件。