OpenLLM

一個開放平台，可將大型語言模型作為 OpenAI 相容 API 端點運行。OpenLLM 讓你用單一指令即可服務任何支援的開源模型，並內建聊天介面供測試使用。

部署後可以做什麼

1. 造訪你的網域 — 開啟內建聊天介面與 LLM 互動
2. 使用 OpenAI 相容 API — 連接任何 OpenAI SDK 客戶端到你的端點進行程式化存取
3. 與框架整合 — 搭配 LangChain、LlamaIndex、AutoGen 等 AI 框架使用
4. 在 Playground 測試 — 在網頁介面中實驗不同的提示詞和參數
5. 監控效能 — 檢視請求指標和模型效能統計

主要功能

• OpenAI 相容 API（chat/completions、completions 端點）
• 內建網頁聊天介面供互動測試
• 支援 Llama、Mistral、Gemma、Phi、Qwen 等多種模型
• 串流回應支援即時文字生成
• 自動模型下載和快取
• 量化支援（GPTQ、AWQ、SqueezeLLM）
• 多 GPU 推論與張量並行
• 支援 LoRA 微調模型的適配器
• 相容 LangChain、LlamaIndex 和 BentoML
• RESTful API 附自動 OpenAPI 文件

授權

Apache-2.0 — GitHub