The Triton Inference Server provides an optimized cloud and edge inferencing solution.
- 言語
- Python
- ライセンス
- BSD-3-Clause
- スター
- 11k
- 最新リリース
- v2.73.0
- 最終プッシュ
- 2026-10-06
Model serving
Serve trained machine learning models behind an API, with batching, scaling and versioning.
比較表
| ツール | スター | ライセンス | 利用条件 | セルフホスト | 言語 | 最新リリース | 最終プッシュ |
|---|---|---|---|---|---|---|---|
| Triton Inference Server | 11k | BSD-3-Clause | オープンソース | 可 | Python | v2.73.0 | 2026-10-06 |
| BentoML | 8.9k | Apache-2.0 | オープンソース | 可 | Python | v1.4.39 | 2026-10-05 |
| KServe | 6.1k | Apache-2.0 | オープンソース | 可 | Go | v0.21.0 | 2026-10-06 |
| MLServer | 900 | Apache-2.0 | オープンソース | 可 | Python | 1.7.1 | 2026-10-05 |
4件のツール
The easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!
- 言語
- Python
- ライセンス
- Apache-2.0
- スター
- 8.9k
- 最新リリース
- v1.4.39
- 最終プッシュ
- 2026-10-05
Standardized Distributed Generative and Predictive AI Inference Platform for Scalable, Multi-Framework Deployment on Kubernetes
- 言語
- Go
- ライセンス
- Apache-2.0
- スター
- 6.1k
- 最新リリース
- v0.21.0
- 最終プッシュ
- 2026-10-06
An inference server for your machine learning models, including support for multiple frameworks, multi-model serving and more
- 言語
- Python
- ライセンス
- Apache-2.0
- スター
- 900
- 最新リリース
- 1.7.1
- 最終プッシュ
- 2026-10-05