Bamba

Bamba-9B是由IBM、普林斯顿大学、卡内基梅隆大学和伊利诺伊大学香槟分校合作开发的一种基于Mamba2架构的解码型语言模型。该模型在完全公开的数据集上进行了训练，旨在显著提升大型语言模型的推理效率，特别是在处理长文本时能够有效缓解内存带宽瓶颈的问题。相较于传统的Transformer模型，Bamba-9B在推理过程中实现了2.5倍的吞吐量增长以及2倍的延迟优化。此外，其训练过程利用了超过2.2万亿个tokens的数据，进一步证明了新型架构的潜力。