alternativa a ChatGPT

TensorRT-LLM

Carregando o README

Sobre

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

PythonLocal model runtimesOther

Proprietário: NVIDIA Corporation organização
Estrelas: 15k
Forks: 2.8k
Última release: v1.2.1
Último push: 2026-10-06
Termos: Código aberto
Auto-hospedado: Sim
Deploy com: Imagem de contêiner
Criado: 2023, há 3 anos
Contribuidores ativos: 125+ autores de commits na branch padrão nos últimos 90 dias

Lido do GitHub em 2026-10-06.Entrada editada pela última vez em 2026-10-06.

Comparar TensorRT-LLM e Ollama →

#blackwell#cuda#llm-serving#moe#pytorch

github.com/NVIDIA/TensorRT-LLM ↗Site ↗Editar esta entrada Mudanças em TensorRT-LLM (RSS)

TensorRT-LLM

Outras ferramentas em Local model runtimes