FlexKV 面向高性能分布式推理的 KVCache Manager

授权协议：None操作系统：None 开发语言：None

FlexKV是腾讯云TACO团队和社区合作开发推出的面向超大规模 LLM 推理场景的分布式 KV Store 与多级缓存管理系统，利用多级缓存支撑推理引擎以获取更大吞吐及更低延迟。设计框架 F...