# yaml-language-server: $schema=https://schema.zeabur.app/template.json apiVersion: zeabur.com/v1 kind: Template metadata: name: OpenLLM spec: description: | Run any open-source LLM as an OpenAI-compatible API endpoint. OpenLLM supports a wide range of models including Llama, Mistral, and Gemma, with built-in chat UI and seamless integration with LangChain, LlamaIndex, and other frameworks. coverImage: https://github.com/bentoml/OpenLLM/assets/5886138/8b426b2b-67da-4545-8b09-2dc96ff8a707 icon: https://avatars.githubusercontent.com/u/49176046?v=4 variables: - key: PUBLIC_DOMAIN type: DOMAIN name: Domain description: The domain to access OpenLLM tags: - AI - LLM - Machine Learning - API readme: | # OpenLLM An open platform for running large language models as OpenAI-compatible API endpoints. OpenLLM lets you serve any supported open-source model with a single command and includes a built-in chat interface for testing. ## What You Can Do After Deployment 1. **Visit your domain** — Open the built-in chat UI to interact with your LLM 2. **Use the OpenAI-compatible API** — Connect any OpenAI SDK client to your endpoint for programmatic access 3. **Integrate with frameworks** — Use with LangChain, LlamaIndex, AutoGen, and other AI frameworks 4. **Test with the playground** — Experiment with different prompts and parameters in the web interface 5. **Monitor performance** — View request metrics and model performance statistics ## Key Features - OpenAI-compatible API (chat/completions, completions endpoints) - Built-in web chat UI for interactive testing - Support for Llama, Mistral, Gemma, Phi, Qwen, and many more models - Streaming response support for real-time text generation - Automatic model downloading and caching - Quantization support (GPTQ, AWQ, SqueezeLLM) - Multi-GPU inference with tensor parallelism - Adapter support for LoRA fine-tuned models - Compatible with LangChain, LlamaIndex, and BentoML - RESTful API with automatic OpenAPI documentation ## License Apache-2.0 — [GitHub](https://github.com/bentoml/OpenLLM) services: - name: openllm icon: https://avatars.githubusercontent.com/u/49176046?v=4 template: PREBUILT_V2 spec: source: image: ghcr.io/bentoml/openllm:0.6.30 ports: - id: web port: 3000 type: HTTP volumes: - id: models dir: /home/bentoml env: {} healthCheck: type: HTTP port: web http: path: / domainKey: PUBLIC_DOMAIN localization: es-ES: description: | Ejecuta cualquier LLM de código abierto como endpoint API compatible con OpenAI. OpenLLM soporta una amplia gama de modelos incluyendo Llama, Mistral y Gemma, con interfaz de chat integrada e integración perfecta con LangChain, LlamaIndex y otros frameworks. variables: - key: PUBLIC_DOMAIN type: STRING name: Dominio description: El dominio para acceder a OpenLLM readme: | # OpenLLM Una plataforma abierta para ejecutar grandes modelos de lenguaje como endpoints API compatibles con OpenAI. OpenLLM permite servir cualquier modelo de código abierto soportado con un solo comando e incluye una interfaz de chat integrada para pruebas. ## Qué puedes hacer después del despliegue 1. **Visitar tu dominio** — Abrir la interfaz de chat integrada para interactuar con tu LLM 2. **Usar la API compatible con OpenAI** — Conectar cualquier cliente SDK de OpenAI a tu endpoint para acceso programático 3. **Integrar con frameworks** — Usar con LangChain, LlamaIndex, AutoGen y otros frameworks de IA 4. **Probar en el Playground** — Experimentar con diferentes prompts y parámetros en la interfaz web 5. **Monitorizar rendimiento** — Ver métricas de solicitudes y estadísticas de rendimiento del modelo ## Características principales - API compatible con OpenAI (endpoints chat/completions, completions) - Interfaz de chat web integrada para pruebas interactivas - Soporte para Llama, Mistral, Gemma, Phi, Qwen y muchos más modelos - Respuestas en streaming para generación de texto en tiempo real - Descarga y caché automática de modelos - Soporte de cuantización (GPTQ, AWQ, SqueezeLLM) - Inferencia multi-GPU con paralelismo tensorial - Soporte de adaptadores para modelos fine-tuned con LoRA - Compatible con LangChain, LlamaIndex y BentoML - API RESTful con documentación OpenAPI automática ## Licencia Apache-2.0 — [GitHub](https://github.com/bentoml/OpenLLM) id-ID: description: | Jalankan LLM open-source apa pun sebagai endpoint API yang kompatibel dengan OpenAI. OpenLLM mendukung berbagai model termasuk Llama, Mistral, dan Gemma, dengan chat UI bawaan dan integrasi mulus dengan LangChain, LlamaIndex, dan framework lainnya. variables: - key: PUBLIC_DOMAIN type: STRING name: Domain description: Domain untuk mengakses OpenLLM readme: | # OpenLLM Platform terbuka untuk menjalankan model bahasa besar sebagai endpoint API yang kompatibel dengan OpenAI. OpenLLM memungkinkan Anda melayani model open-source yang didukung dengan satu perintah dan menyertakan antarmuka chat bawaan untuk pengujian. ## Apa yang bisa dilakukan setelah deployment 1. **Kunjungi domain Anda** — Buka chat UI bawaan untuk berinteraksi dengan LLM 2. **Gunakan API kompatibel OpenAI** — Hubungkan klien OpenAI SDK ke endpoint untuk akses terprogram 3. **Integrasikan dengan framework** — Gunakan dengan LangChain, LlamaIndex, AutoGen, dan framework AI lainnya 4. **Uji di Playground** — Eksperimen dengan prompt dan parameter berbeda di antarmuka web 5. **Pantau performa** — Lihat metrik permintaan dan statistik performa model ## Fitur Utama - API kompatibel OpenAI (endpoint chat/completions, completions) - Chat UI web bawaan untuk pengujian interaktif - Dukungan Llama, Mistral, Gemma, Phi, Qwen, dan banyak model lainnya - Dukungan respons streaming untuk pembuatan teks real-time - Unduhan dan cache model otomatis - Dukungan kuantisasi (GPTQ, AWQ, SqueezeLLM) - Inferensi multi-GPU dengan paralelisme tensor - Dukungan adapter untuk model fine-tuned LoRA - Kompatibel dengan LangChain, LlamaIndex, dan BentoML - API RESTful dengan dokumentasi OpenAPI otomatis ## Lisensi Apache-2.0 — [GitHub](https://github.com/bentoml/OpenLLM) ja-JP: description: | 任意のオープンソースLLMをOpenAI互換APIエンドポイントとして実行できます。OpenLLMはLlama、Mistral、Gemmaなど幅広いモデルをサポートし、組み込みチャットUIとLangChain、LlamaIndexなどのフレームワークとのシームレスな統合を提供します。 variables: - key: PUBLIC_DOMAIN type: STRING name: ドメイン description: OpenLLMにアクセスするためのドメイン readme: | # OpenLLM 大規模言語モデルをOpenAI互換APIエンドポイントとして実行するためのオープンプラットフォームです。OpenLLMは単一のコマンドでサポートされているオープンソースモデルを提供でき、テスト用の組み込みチャットインターフェースを備えています。 ## デプロイ後にできること 1. **ドメインにアクセス** — 組み込みチャットUIを開いてLLMと対話 2. **OpenAI互換APIを使用** — 任意のOpenAI SDKクライアントをエンドポイントに接続してプログラムからアクセス 3. **フレームワークとの統合** — LangChain、LlamaIndex、AutoGenなどのAIフレームワークと連携 4. **Playgroundでテスト** — Webインターフェースで異なるプロンプトやパラメータを実験 5. **パフォーマンスを監視** — リクエストメトリクスとモデルパフォーマンス統計を確認 ## 主な機能 - OpenAI互換API（chat/completions、completionsエンドポイント） - インタラクティブテスト用の組み込みWebチャットUI - Llama、Mistral、Gemma、Phi、Qwenなど多数のモデルに対応 - リアルタイムテキスト生成のためのストリーミングレスポンス - 自動モデルダウンロードとキャッシュ - 量子化サポート（GPTQ、AWQ、SqueezeLLM） - テンソル並列によるマルチGPU推論 - LoRAファインチューニングモデルのアダプターサポート - LangChain、LlamaIndex、BentoMLと互換 - 自動OpenAPIドキュメント付きRESTful API ## ライセンス Apache-2.0 — [GitHub](https://github.com/bentoml/OpenLLM) ko-KR: description: | 모든 오픈소스 LLM을 OpenAI 호환 API 엔드포인트로 실행할 수 있습니다. OpenLLM은 Llama, Mistral, Gemma 등 다양한 모델을 지원하며, 내장 채팅 UI와 LangChain, LlamaIndex 등 프레임워크와의 원활한 통합을 제공합니다. variables: - key: PUBLIC_DOMAIN type: STRING name: 도메인 description: OpenLLM에 접속할 도메인 readme: | # OpenLLM 대규모 언어 모델을 OpenAI 호환 API 엔드포인트로 실행하기 위한 오픈 플랫폼입니다. OpenLLM은 단일 명령으로 지원되는 오픈소스 모델을 서빙할 수 있으며, 테스트를 위한 내장 채팅 인터페이스를 제공합니다. ## 배포 후 할 수 있는 것 1. **도메인 방문** — 내장 채팅 UI를 열어 LLM과 상호작용 2. **OpenAI 호환 API 사용** — OpenAI SDK 클라이언트를 엔드포인트에 연결하여 프로그래밍 방식으로 접근 3. **프레임워크 통합** — LangChain, LlamaIndex, AutoGen 등 AI 프레임워크와 함께 사용 4. **Playground에서 테스트** — 웹 인터페이스에서 다양한 프롬프트와 파라미터 실험 5. **성능 모니터링** — 요청 메트릭 및 모델 성능 통계 확인 ## 주요 기능 - OpenAI 호환 API (chat/completions, completions 엔드포인트) - 대화형 테스트를 위한 내장 웹 채팅 UI - Llama, Mistral, Gemma, Phi, Qwen 등 다수의 모델 지원 - 실시간 텍스트 생성을 위한 스트리밍 응답 - 자동 모델 다운로드 및 캐싱 - 양자화 지원 (GPTQ, AWQ, SqueezeLLM) - 텐서 병렬화를 통한 다중 GPU 추론 - LoRA 파인튜닝 모델용 어댑터 지원 - LangChain, LlamaIndex, BentoML과 호환 - 자동 OpenAPI 문서가 포함된 RESTful API ## 라이선스 Apache-2.0 — [GitHub](https://github.com/bentoml/OpenLLM) th-TH: description: | รัน LLM โอเพนซอร์สใดก็ได้เป็น API endpoint ที่เข้ากันได้กับ OpenAI รองรับโมเดลหลากหลายรวมถึง Llama, Mistral และ Gemma พร้อม chat UI ในตัวและการเชื่อมต่อกับ LangChain, LlamaIndex และเฟรมเวิร์คอื่นๆ ได้อย่างราบรื่น variables: - key: PUBLIC_DOMAIN type: STRING name: โดเมน description: โดเมนสำหรับเข้าถึง OpenLLM readme: | # OpenLLM แพลตฟอร์มเปิดสำหรับรัน Large Language Model เป็น API endpoint ที่เข้ากันได้กับ OpenAI ให้คุณเสิร์ฟโมเดลโอเพนซอร์สที่รองรับด้วยคำสั่งเดียว พร้อม chat interface ในตัวสำหรับทดสอบ ## สิ่งที่ทำได้หลังจากติดตั้ง 1. **เข้าชมโดเมนของคุณ** — เปิด chat UI ในตัวเพื่อโต้ตอบกับ LLM 2. **ใช้ API ที่เข้ากันได้กับ OpenAI** — เชื่อมต่อ OpenAI SDK client ไปยัง endpoint สำหรับการเข้าถึงแบบ programmatic 3. **เชื่อมต่อกับเฟรมเวิร์ค** — ใช้ร่วมกับ LangChain, LlamaIndex, AutoGen และเฟรมเวิร์ค AI อื่นๆ 4. **ทดสอบใน Playground** — ทดลองกับ prompt และพารามิเตอร์ต่างๆ ในอินเทอร์เฟซเว็บ 5. **ตรวจสอบประสิทธิภาพ** — ดูเมตริกคำขอและสถิติประสิทธิภาพของโมเดล ## ฟีเจอร์หลัก - API ที่เข้ากันได้กับ OpenAI (endpoint chat/completions, completions) - Chat UI เว็บในตัวสำหรับทดสอบแบบโต้ตอบ - รองรับ Llama, Mistral, Gemma, Phi, Qwen และโมเดลอื่นๆ อีกมากมาย - รองรับ streaming response สำหรับการสร้างข้อความแบบเรียลไทม์ - ดาวน์โหลดและแคชโมเดลอัตโนมัติ - รองรับ quantization (GPTQ, AWQ, SqueezeLLM) - การอนุมานแบบ multi-GPU ด้วย tensor parallelism - รองรับ adapter สำหรับโมเดล LoRA fine-tuned - เข้ากันได้กับ LangChain, LlamaIndex และ BentoML - RESTful API พร้อมเอกสาร OpenAPI อัตโนมัติ ## สัญญาอนุญาต Apache-2.0 — [GitHub](https://github.com/bentoml/OpenLLM) zh-CN: description: | 将任何开源大型语言模型作为 OpenAI 兼容 API 端点运行。OpenLLM 支持 Llama、Mistral、Gemma 等多种模型，内置聊天界面，可与 LangChain、LlamaIndex 等框架无缝集成。 variables: - key: PUBLIC_DOMAIN type: STRING name: 域名 description: 访问 OpenLLM 的域名 readme: | # OpenLLM 一个开放平台，可将大型语言模型作为 OpenAI 兼容 API 端点运行。OpenLLM 让你用单一命令即可服务任何支持的开源模型，并内置聊天界面供测试使用。 ## 部署后可以做什么 1. **访问你的域名** — 打开内置聊天界面与 LLM 互动 2. **使用 OpenAI 兼容 API** — 连接任何 OpenAI SDK 客户端到你的端点进行编程访问 3. **与框架集成** — 搭配 LangChain、LlamaIndex、AutoGen 等 AI 框架使用 4. **在 Playground 测试** — 在网页界面中实验不同的提示词和参数 5. **监控性能** — 查看请求指标和模型性能统计 ## 主要功能 - OpenAI 兼容 API（chat/completions、completions 端点） - 内置网页聊天界面供交互测试 - 支持 Llama、Mistral、Gemma、Phi、Qwen 等多种模型 - 流式响应支持实时文本生成 - 自动模型下载和缓存 - 量化支持（GPTQ、AWQ、SqueezeLLM） - 多 GPU 推理与张量并行 - 支持 LoRA 微调模型的适配器 - 兼容 LangChain、LlamaIndex 和 BentoML - RESTful API 附自动 OpenAPI 文档 ## 许可证 Apache-2.0 — [GitHub](https://github.com/bentoml/OpenLLM) zh-TW: description: | 將任何開源大型語言模型作為 OpenAI 相容 API 端點運行。OpenLLM 支援 Llama、Mistral、Gemma 等多種模型，內建聊天介面，可與 LangChain、LlamaIndex 等框架無縫整合。 variables: - key: PUBLIC_DOMAIN type: STRING name: 網域 description: 存取 OpenLLM 的網域 readme: | # OpenLLM 一個開放平台，可將大型語言模型作為 OpenAI 相容 API 端點運行。OpenLLM 讓你用單一指令即可服務任何支援的開源模型，並內建聊天介面供測試使用。 ## 部署後可以做什麼 1. **造訪你的網域** — 開啟內建聊天介面與 LLM 互動 2. **使用 OpenAI 相容 API** — 連接任何 OpenAI SDK 客戶端到你的端點進行程式化存取 3. **與框架整合** — 搭配 LangChain、LlamaIndex、AutoGen 等 AI 框架使用 4. **在 Playground 測試** — 在網頁介面中實驗不同的提示詞和參數 5. **監控效能** — 檢視請求指標和模型效能統計 ## 主要功能 - OpenAI 相容 API（chat/completions、completions 端點） - 內建網頁聊天介面供互動測試 - 支援 Llama、Mistral、Gemma、Phi、Qwen 等多種模型 - 串流回應支援即時文字生成 - 自動模型下載和快取 - 量化支援（GPTQ、AWQ、SqueezeLLM） - 多 GPU 推論與張量並行 - 支援 LoRA 微調模型的適配器 - 相容 LangChain、LlamaIndex 和 BentoML - RESTful API 附自動 OpenAPI 文件 ## 授權 Apache-2.0 — [GitHub](https://github.com/bentoml/OpenLLM)