llama.cpp

LLM inference in C/C++

KTransformers. 1 Alternativen zu llama.cpp, in Python. Ersatzgrad, Lizenz, Sterne und das neueste signierte Release im Vergleich.

Im Vergleich

1 Open-Source-Alternative zu llama.cpp
Tool	Ersatzgrad	Sterne	Lizenz	Bedingungen	Selbst hostbar	Sprache	Neuestes Release	Letzter Push
KTransformers	Teilweise	20k	Apache-2.0	Open Source	Ja	Python	v0.7.2	2026-10-16

1 Alternative

A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations

Runs large mixture-of-experts models split across CPU and GPU, on top of its own optimized kernels.