Instella

Instella简介

Instella是由AMD开发的开源语言模型，包含30亿参数。该模型在AMD Instinct™ MI300X GPU上从零开始训练，采用自回归Transformer架构，拥有36个解码器层和32个注意力头，支持最长4096个标记的序列输入。通过多阶段训练流程，包括大规模预训练、监督微调和偏好优化，Instella在自然语言理解、指令执行和对话交互方面表现出色。其性能在多个基准测试中优于现有开源模型，并具备与领先模型相当的能力。AMD已全面开放Instella的模型权重、训练配置、数据集和代码，以推动AI技术的社区协作与创新。

Instella的核心功能

• 自然语言理解：能够处理多种语言任务，如问答、文本生成和语义分析。
• 指令跟随：基于监督微调（SFT）和直接偏好优化（DPO），精准执行用户指令。
• 多轮对话：支持连贯的多轮交互，提升对话体验。
• 问题解决能力：在数学推理、逻辑判断和知识问答等任务中表现优异。
• 多领域适应性：基于多样化数据训练，适用于学术、编程、数学及日常交流等多种场景。

Instella的技术实现

• Transformer架构：采用自回归Transformer结构，包含36个解码器层和32个注意力头，支持4096标记长度。
• 高效训练方法：结合FlashAttention-2、Torch Compile和bfloat16混合精度技术，提升计算效率。
• 多阶段训练：使用4.065万亿标记进行预训练，再通过575.75亿标记进一步优化。
• 监督微调（SFT）：利用高质量指令-响应对数据提升模型指令执行能力。
• 直接偏好优化（DPO）：通过人类偏好数据优化输出，使其更符合用户预期。
• 分布式训练：采用FSDP技术实现大规模集群训练，提高扩展性和效率。
• 多样化数据集：涵盖学术、编程、数学和对话数据，以及合成数据，确保模型广泛适用。

Instella项目资源

• 项目官网：https://rocm.blogs.amd.com/artificial-intelligence/introducing-instella
• GitHub仓库：https://github.com/AMD-AIG-AIMA/Instella
• HuggingFace模型库：https://huggingface.co/collections/amd/instella

Instella的应用场景

• 智能客服：提供自动问答服务，增强用户体验。
• 内容创作：辅助生成文案、故事等内容，提升创作效率。
• 教育辅导：解答学习问题，提供个性化学习建议。
• 编程辅助：生成代码片段，协助开发者解决问题。
• 企业知识管理：整合内部信息，提升团队协作效率。