UltraMem

UltraMem是由字节跳动豆包大模型团队研发的一种新型超稀疏模型架构，旨在解决传统MoE架构在推理过程中存在的高内存访问问题。该架构通过优化内存访问与计算效率，有效降低了推理成本，并显著提升了推理速度，相较于MoE，其速度提升可达2-6倍，成本最高可降低83%。UltraMem的核心技术包括多层结构改进、Tucker分解查询键检索（TDQKR）以及隐式扩展稀疏参数（IVE），这些技术共同提升了模型的性能和扩展能力。实验结果表明，UltraMem在不同规模的激活参数下均表现出优异的性能，尤其在稀疏参数增加时，其扩展性优于传统MoE架构。