Nano vLLM 轻量级 vLLM 实现

授权协议:None操作系统:None 开发语言:None
Nano vLLM 是一个轻量级的 vLLM 实现,具有快速离线推理能力,代码简洁易读(整个实现不到 1200 行 Python 代码),包含多种优化技术。 它支持通过 pip 安装,提供示例代...