AMD

AMD-135M是由AMD开发的小型语言模型（SLM），旨在实现性能与资源消耗之间的平衡。该模型基于LLaMA2架构，并在AMD Instinct MI250加速器上进行训练。AMD-135M包含670亿个tokens，分为两个版本：通用文本版本AMD-Llama-135M和专注于代码的AMD-Llama-135M-code。其核心技术包括推测解码，能够每次前向传递生成多个token，从而提升推理速度并降低内存占用。在自然语言处理任务中，AMD-135M的表现与市场上的同类模型相当，在Humaneval数据集上的通过率为32.31%，显示出其卓越的性能。 AMD-135M具备多种功能，包括文本生成、代码生成、自然语言理解和多平台兼容性。文本生成模块可生成连贯的文本，适用于聊天机器人和内容创作；代码生成模块则支持编程辅助，基于微调后的版本进行操作。此外，该模型还支持自然语言理解，用于问答系统和摘要生成。其多平台兼容性使其能够在AMD的GPU和CPU上高效运行。 技术上，AMD-135M采用了推测解码、自回归方法、多头注意力机制、相对位置编码（RoPE）、Swiglu激活函数以及RMSNorm等技术手段，确保模型的高效性和准确性。基于LLaMA-2架构，它具有12层、768隐藏单元及一系列技术特性。 项目官网提供了详细的文档和支持链接，用户可通过HuggingFace模型库下载和使用AMD-135M。