Alternative zu ChatGPT

TensorRT-LLM

Die README wird geladen

Überblick

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

PythonLocal model runtimesOther

Inhaber: NVIDIA Corporation Organisation
Sterne: 15k
Forks: 2.8k
Neuestes Release: v1.2.1
Letzter Push: 2026-10-06
Bedingungen: Open Source
Selbst hostbar: Ja
Bereitstellung: Container-Image
Erstellt: 2023, vor 3 Jahren
Aktive Mitwirkende: 125+ Commit-Autoren auf dem Standard-Branch in den letzten 90 Tagen

Am 2026-10-06 von GitHub gelesen.Eintrag zuletzt am 2026-10-06 bearbeitet.

TensorRT-LLM und Ollama vergleichen →

#blackwell#cuda#llm-serving#moe#pytorch

github.com/NVIDIA/TensorRT-LLM ↗Website ↗Diesen Eintrag bearbeiten Änderungen an TensorRT-LLM (RSS)

TensorRT-LLM

Mehr aus Local model runtimes