OpenCoder

OpenCoder是由墨尔本大学、复旦大学等高校的研究人员与无限光年合作推出的一个开源代码大型语言模型（LLM）。该模型旨在提升开源代码LLM的表现至接近专有模型的水平，并推动代码AI研究的透明化与可重复性。OpenCoder提供了模型权重及推理代码，包括完整的数据处理流程、可复现的训练数据、严格的实验消融结果以及详细的训练协议，为研究社区的创新和构建提供了支持。 OpenCoder的核心功能涵盖代码生成、代码审查、错误调试、代码补全及多语言支持，能够显著提升开发效率并改善代码质量。其技术原理基于Transformer架构，采用旋转位置编码（RoPE）处理长距离依赖关系，并结合预训练、退火训练及指令微调等策略优化模型性能。此外，通过开源指令语料的收集和真实用户查询的抽取，OpenCoder进一步提升了模型的实际应用效果。 项目资源包括官方主页（https://opencoder-llm.github.io/）、GitHub仓库（https://github.com/OpenCoder-llm/OpenCoder-llm）、HuggingFace模型库（https://huggingface.co/collections/infly/opencoder-672cec44bbb86c39910fb55e）以及arXiv技术论文（https://arxiv.org/pdf/2411.04905）。