InfiniStore 分布式 LLM 推理 KV 存储系统

授权协议：None操作系统：None 开发语言：None

InfiniStore 是一个开源高性能 KV 存储。它旨在支持 LLM 推理集群，无论集群是否处于预填充解码分解模式。InfiniStore 在集群中的推理节点之间提供高性能、低延迟的 KV ...