vLLM LLM 推理和服务库

vLLM 是一个快速且易于使用的 LLM 推理和服务库。 vLLM 的速度很快： 最先进的服务吞吐量 使用 PagedAttention 高效管理 attention key 和 value m...