alternativas a

vLLM

A high-throughput and memory-efficient inference and serving engine for LLMs

Lado a lado

1 alternativa de código aberto a vLLM
FerramentaSubstituiçãoEstrelasLicençaTermosAuto-hospedadoLinguagemÚltima releaseÚltimo push
SGLangSubstituição completa37kApache-2.0Código abertoSimPythonv0.5.212026-10-06

Todas as alternativas

1 alternativa

SGLangSubstituição completa

SGLang is a high-performance serving framework for large language models and multimodal models.

GPU serving engine for open-weight models behind an OpenAI-compatible API.

Linguagem
Python
Licença
Apache-2.0
Estrelas
37k
Última release
v0.5.21
Último push
2026-10-06

Sobre vLLM

Linguagem
Python
Licença
Apache-2.0
Estrelas
93k
Último push
2026-10-06

Sobre vLLM →