alternatif untuk ChatGPT

TensorRT-LLM

Memuat README

Tentang

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

PythonLocal model runtimesOther

Pemilik: NVIDIA Corporation organisasi
Bintang: 15k
Fork: 2.8k
Terbaru: v1.2.1
Push terakhir: 2026-10-06
Ketentuan: Open source
Self-hosted: Ya
Deploy dengan: Image container
Dibuat: 2023, 3 tahun lalu
Kontributor aktif: 125+ penulis commit di branch default dalam 90 hari terakhir

Dibaca dari GitHub pada 2026-10-06.Entri terakhir diedit pada 2026-10-06.

Bandingkan TensorRT-LLM dan Ollama →

#blackwell#cuda#llm-serving#moe#pytorch

github.com/NVIDIA/TensorRT-LLM ↗Situs web ↗Edit entri ini Perubahan pada TensorRT-LLM (RSS)

TensorRT-LLM

Alat lain di Local model runtimes