RMSNorm

AMD

AMD-135M是一款由AMD开发的小型语言模型,基于LLaMA2架构,具有文本生成、代码生成、自然语言理解和多平台兼容性等特点。该模型通过推测解码技术提高了推理速度,降低了内存占用,并在多项自然语言处理任务中表现出色。适用于聊天机器人、内容创作、编程辅助、语言翻译和文本摘要等多种应用场景。

OpenELM

OpenELM是苹果公司推出的一系列高效开源语言模型,涵盖从2.7亿到30亿参数规模的不同版本。该模型基于Transformer架构,采用层间缩放策略优化参数分配,使用分组查询注意力(GQA)和SwiGLU激活函数等技术。OpenELM在公共数据集上预训练,并在多项自然语言处理任务中展现出色性能。模型代码和预训练权重已公开,旨在促进开放研究和社区发展。