MobileLLM

MobileLLM是由Meta开发的一款专为移动设备优化的大型语言模型，其参数规模低于十亿。该模型旨在应对云计算成本增加及延迟问题，通过创新的设计实现了高效的语言处理能力。MobileLLM采用深层薄型架构、共享嵌入以及分组查询注意力机制等技术，使得在有限参数条件下仍能提供高质量的语言处理效果。实验结果显示，MobileLLM-125M/350M在零样本常识推理任务上的表现优于前代模型，同时在聊天基准测试中展现出对小型模型的显著优势，并在API调用任务中达到与LLaMA-v2 7B相近的精度。