dInfer 高性能扩散语言模型推理框架

授权协议:None操作系统:None 开发语言:None
dInfer 是一个高效且可扩展的 dLLM 推理框架。它将推理模块化为四个组件:模型、扩散迭代管理器、解码策略和键值缓存管理,并为每个组件中的算法提供了精心设计的 API,方便灵活组合。 dI...