Micro LLAMA

Micro LLAMA 是一款基于简化版 Llama 3 模型的教学工具，专为学习者和研究人员设计。该项目通过约 180 行代码实现了 Llama 3 的最小版本（8B 参数），模型运行需要 15GB 存储空间，并占用约 30GB 内存。代码默认在 CPU 上运行，强调轻量级和易用性。Micro LLAMA 提供了完整的代码示例（`micro_llama.py`）和 Jupyter 笔记本（`micro_llama.ipynb`），便于用户深入学习和探索。 Micro LLAMA 的设计注重模块化，核心组件如自注意力机制和前馈神经网络均清晰呈现。此外，它提供了详细的 Conda 环境配置指南，确保用户能够顺利搭建开发环境并进行实验。该工具特别适用于希望深入了解大型语言模型架构的学生和研究者。