A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
Runs large mixture-of-experts models split across CPU and GPU, on top of its own optimized kernels.
- 言語
- Python
- ライセンス
- Apache-2.0
- スター
- 20k
- 最新リリース
- v0.7.2
- 最終プッシュ
- 2026-10-16