NVIDIA/TensorRT-LLM · 周榜项目详情

第 5 名

🟢 NVIDIA

https://github.com/NVIDIA/TensorRT-LLM

TensorRT-LLM 是 NVIDIA 推出的 LLM 推理优化库，提供易用的 Python API 用于定义大语言模型，并集成专用内核和高效运行时，可在 NVIDIA GPU 上实现高性能推理。支持模型定制、分布式部署，适用于各种 LLM 和视觉生成模型的优化。