语言模型

Micro LLAMA

Micro LLAMA 是一款基于简化版 Llama 3 模型的教学工具,通过约 180 行代码实现 8B 参数的最小化模型,支持自注意力机制和前馈神经网络。它提供 Jupyter 笔记本和 Conda 环境配置指南,帮助用户轻松学习和实验,特别适用于学术教学、研究开发和个人学习。

Infinity

Infinity-MM是智源研究院发布的千万级多模态指令数据集,包含4300万条样本,涵盖视觉问答、文字识别、文档分析及数学推理等多领域任务。它通过严格的筛选和去重保证数据质量,并采用合成数据生成技术扩展数据集规模。基于此数据集,智源研究院训练出了20亿参数的Aquila-VL-2B模型,在多项基准测试中表现出色,推动了多模态AI领域的研究与发展。

Grok

Grok-1是由xAI公司开发的大型语言模型,具备3140亿参数,是目前参数量最大的开源大语言模型之一。该模型基于Transformer架构,专用于自然语言处理任务,如问答、信息检索、创意写作和编码辅助等。尽管在信息处理方面表现出色,但需要人工审核以确保准确性。此外,Grok-1还提供了8bit量化版本,以降低存储和计算需求。

ChatTTS

ChatTTS是一个开源的专为对话场景设计的语音生成模型,特别适用于大语言模型(LLM)助手的对话任务,以及诸如对话式音频和视频介绍等应用。ChatTTS 不仅能说中文,英文也能 hold 住...

MeteoRA

MeteoRA是一种基于LoRA和混合专家架构的多任务嵌入框架,用于大型语言模型。它支持多任务适配器集成、自主任务切换、高效推理及复合任务处理,提升模型灵活性和实用性。通过动态门控机制和前向加速策略,显著提高推理效率并降低内存占用,适用于多领域问答、多语言对话等场景。

node

Node-DeepResearch 是一款基于 Gemini 语言模型和 Jina Reader 的开源 AI 智能体,支持持续搜索、多步推理和复杂问题处理。用户可通过 Web Server API 实时获取查询进度,适用于文献综述、市场调研、新闻报道等多种场景。项目具备灵活性和可扩展性,适合研究人员和开发者使用。

OLMo 2 32B

OLMo 2 32B 是由 Allen Institute for AI 推出的开源语言模型,拥有 320 亿参数,性能接近更大规模模型。它采用三阶段训练策略,结合预训练、中期训练和后训练,提升模型稳定性与任务适应性。模型支持多任务处理,涵盖自然语言处理、数学推理、编程辅助和内容创作等领域,并具备高效训练能力与低能耗优势。所有数据、代码和权重均开源,便于研究与开发。

NVLM

NVLM是NVIDIA研发的多模态大型语言模型,涵盖图像理解、语言理解、跨模态融合、图像描述生成、视觉推理及多模态翻译等功能。它具备多种架构(NVLM-D、NVLM-X、NVLM-H),并采用动态高分辨率输入、1-D平铺标签设计及多模态预训练与微调技术,广泛应用于图像描述、视觉问答、文档理解、多模态搜索及辅助驾驶等领域。

Delta

Delta-CoMe是一种由清华大学NLP实验室牵头研发的增量压缩算法,它通过低秩分解与混合精度量化技术,显著减少了大型语言模型的存储和内存需求,同时保持了模型性能几乎无损。该工具支持多任务处理、推理加速,并广泛适用于云计算、边缘计算及学术研究等领域,特别擅长应对数学、代码和多模态任务。