TensorRT-LLM 优化大型语言模型推理的 TensorRT 工具箱

TensorRT-LLM 为用户提供了易于使用的 Python API，用于定义大型语言模型（LLM）和构建 TensorRT 引擎，这些引擎包含最先进的优化技术，可在英伟达（NVIDIA）图形...