推理
Fish Speech
Fish Speech是一款开源的文本到语音(TTS)工具,支持中文、英文和日文。它通过大约15万小时的多语种数据训练,实现了接近人类水平的语音合成效果。该工具的特点包括低显存需求(仅需4GB)、快速推理速度、高自定义性和灵活性。Fish Speech支持多种语音生成模型,如VITS2、Bert-VITS2等,适用于智能助手、自动客服、语言学习等多个领域。
商汤商量SenseChat
商汤商量SenseChat是由商汤科技推出的语言大模型,提供对话和文档理解服务,能够处理百科问答、图片理解、数学解答、代码编写等多种任务。
Reflection 70B
Reflection 70B是一款基于Meta的Llama 3.1 70B Instruct构建的开源AI大模型,采用“Reflection-Tuning”技术,能够在生成最终回答前检测并纠正错误,显著提高输出的准确性。该模型特别适用于需要高精度推理的任务,并具备出色的零样本推理能力。用户可以通过引入特殊token,以更结构化的方式与模型交互。此外,Reflection 70B支持通过Huggin
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
SenseVoice
一款阿里通义实验室发布的FunAudioLLM框架多语言音频基础模型,SenseVoice具有多语种、混合语言、音色和情感控制能力。
