alternative à ChatGPT

TensorRT-LLM

Chargement du README

À propos

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

PythonLocal model runtimesOther

Propriétaire: NVIDIA Corporation organisation
Étoiles: 15k
Forks: 2.8k
Dernière release: v1.2.1
Dernier push: 2026-10-06
Conditions: Open source
Auto-hébergeable: Oui
Déploiement: Image conteneur
Création: 2023, il y a 3 ans
Contributeurs actifs: 125+ auteurs de commits sur la branche par défaut ces 90 derniers jours

Lu sur GitHub le 2026-10-06.Fiche modifiée pour la dernière fois le 2026-10-06.

Comparer TensorRT-LLM et Ollama →

#blackwell#cuda#llm-serving#moe#pytorch

github.com/NVIDIA/TensorRT-LLM ↗Site web ↗Modifier cette entrée Changements de TensorRT-LLM (RSS)

TensorRT-LLM

Dans la même catégorie : Local model runtimes