alternativa a ChatGPT

TensorRT-LLM

Cargando el README

Acerca de

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

PythonLocal model runtimesOther

Propietario: NVIDIA Corporation organización
Estrellas: 15k
Forks: 2.8k
Última versión: v1.2.1
Último push: 2026-10-06
Condiciones: Código abierto
Autoalojable: Sí
Despliegue: Imagen de contenedor
Creación: 2023, hace 3 años
Colaboradores activos: 125+ autores de commits en la rama por defecto en los últimos 90 días

Leído de GitHub el 2026-10-06.Ficha editada por última vez el 2026-10-06.

Comparar TensorRT-LLM y Ollama →

#blackwell#cuda#llm-serving#moe#pytorch

github.com/NVIDIA/TensorRT-LLM ↗Sitio web ↗Editar esta entrada Cambios de TensorRT-LLM (RSS)

TensorRT-LLM

Más en Local model runtimes