推理

TinyVLA

TinyVLA是一种轻量级的视觉-语言-动作(VLA)模型,专为机器人操控设计。它通过结合多模态模型和扩散策略解码器,实现了快速推理、数据高效和多任务学习的能力,并在泛化性能上表现优异。TinyVLA可应用于家庭、工业、服务等多个领域,具有广泛的实用价值。

Fish Speech

Fish Speech是一款开源的文本到语音(TTS)工具,支持中文、英文和日文。它通过大约15万小时的多语种数据训练,实现了接近人类水平的语音合成效果。该工具的特点包括低显存需求(仅需4GB)、快速推理速度、高自定义性和灵活性。Fish Speech支持多种语音生成模型,如VITS2、Bert-VITS2等,适用于智能助手、自动客服、语言学习等多个领域。

RAGEN

RAGEN是一款开源的强化学习框架,专为在交互式和随机环境中训练大型语言模型(LLM)推理代理而设计。它基于StarPO架构,支持多轮轨迹优化和多种强化学习算法,如PPO和GRPO。通过MDP形式化和渐进式奖励归一化策略,RAGEN提高了训练的稳定性和效率。其模块化设计支持多种环境,适用于智能对话、游戏AI、自动化推理等多个领域。

商汤商量SenseChat

商汤商量SenseChat是由商汤科技推出的语言大模型,提供对话和文档理解服务,能够处理百科问答、图片理解、数学解答、代码编写等多种任务。

Reflection 70B

Reflection 70B是一款基于Meta的Llama 3.1 70B Instruct构建的开源AI大模型,采用“Reflection-Tuning”技术,能够在生成最终回答前检测并纠正错误,显著提高输出的准确性。该模型特别适用于需要高精度推理的任务,并具备出色的零样本推理能力。用户可以通过引入特殊token,以更结构化的方式与模型交互。此外,Reflection 70B支持通过Huggin

s1

S1是由斯坦福大学和华盛顿大学联合开发的低成本、高性能AI推理模型,采用知识蒸馏技术从大型模型中提取推理能力。通过1000个高质量问题训练,成本低于50美元,训练时间短于30分钟。S1在数学和编程领域表现卓越,支持测试时扩展技术以优化推理效果,并已在GitHub开源,适用于科学问题解决、智能辅导、自动问答等多种场景。

壁仞科技

致力于研发原创性的通用计算体系,建立高效的软硬件平台

KTransformers

KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。

Director

Director是一款基于VideoDB的视频智能处理框架,利用自然语言指令实现视频搜索、编辑、合成及生成等功能,同时支持实时流式传输。它提供了聊天式用户界面和预构建的视频代理,便于开发者和创作者快速构建定制化解决方案。此外,Director适用于视频内容管理、编辑、创作以及教育等多个领域,为企业和内容生产者提升工作效率。

SenseVoice

一款阿里通义实验室发布的FunAudioLLM框架多语言音频基础模型,SenseVoice具有多语种、混合语言、音色和情感控制能力。