模型
SoulChat2.0
SoulChat2.0是一款基于大语言模型的心理咨询师数字孪生系统,能够模拟真实心理咨询师的语言风格和技术,提高大模型在实际应用场景中的表现。该模型通过少量真实咨询案例快速构建,支持心理咨询师的工作,并促进心理健康大模型领域的研究发展。其核心功能包括心理咨询师数字孪生建模、低成本高效建模、辅助心理咨询以及开源合作。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。