SpikingBrain 类脑大模型

SpikingBrain受大脑机制启发，将混合高效注意力机制、MoE 模块和脉冲编码集成到其架构中，并由与开源模型生态系统兼容的通用转换管道支持。 这使得能够使用不到 2% 的数据进行持续预训练...