推理
OpenThinker
OpenThinker-32B 是一款由多所高校联合开发的开源推理模型,拥有 328 亿参数和 16,000 token 上下文支持,以高效的数据利用和严格的质量控制著称。模型基于少量数据实现优异性能,适用于数学、科学、代码生成等多种推理任务。全面开源,提供模型权重、代码和数据集,支持研究与开发扩展。
SenseVoice
一款阿里通义实验室发布的FunAudioLLM框架多语言音频基础模型,SenseVoice具有多语种、混合语言、音色和情感控制能力。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
Reflection 70B
Reflection 70B是一款基于Meta的Llama 3.1 70B Instruct构建的开源AI大模型,采用“Reflection-Tuning”技术,能够在生成最终回答前检测并纠正错误,显著提高输出的准确性。该模型特别适用于需要高精度推理的任务,并具备出色的零样本推理能力。用户可以通过引入特殊token,以更结构化的方式与模型交互。此外,Reflection 70B支持通过Huggin
商汤商量SenseChat
商汤商量SenseChat是由商汤科技推出的语言大模型,提供对话和文档理解服务,能够处理百科问答、图片理解、数学解答、代码编写等多种任务。
