LocalAI

自架的開源 OpenAI API 替代方案。在自有基礎設施上執行大型語言模型、產生圖片、語音轉文字和嵌入向量。相容 OpenAI API 規格，可無縫整合現有工具和函式庫。

部署後可以做什麼

1. 開啟網域 — 確認 LocalAI 網頁介面已啟動
2. 下載模型 — 從內建模型庫瀏覽並安裝模型
3. 使用 OpenAI 相容 API — 將任何 OpenAI SDK 指向你的 LocalAI 實例
4. 產生文字 — 使用本地模型執行聊天和文字生成
5. 產生圖片 — 使用 Stable Diffusion 模型產生圖片
6. 語音轉文字 — 使用 Whisper 模型進行語音辨識

主要功能

• OpenAI API 相容端點（聊天、補全、嵌入、圖片、音訊）
• 內建模型庫，一鍵下載
• 可在 CPU 上執行，無需 GPU
• 支援多種模型格式（GGUF、GGML、transformers）
• 文字轉語音和語音轉文字
• Stable Diffusion 圖片生成
• 函式呼叫和工具支援
• 模型管理和聊天的網頁介面

授權

MIT — GitHub