量化
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
TradingAgents
TradingAgents是由加州大学洛杉矶分校与麻省理工学院联合开发的多代理LLM金融交易框架,整合多种专业角色的AI代理,通过辩论与对话进行交易决策。该系统支持多类型市场数据分析,具备风险控制、动态调整与高可解释性,适用于量化交易、资产管理、个人投资等多个场景,显著提升交易效率与透明度。
DistilQwen2
DistilQwen2 是一款基于 Qwen2 大模型优化的轻量级语言模型,通过知识蒸馏技术提高运算效率并降低部署成本。其主要特点包括增强指令遵循能力、轻量级部署、高效运算及多语言支持。DistilQwen2 在知识蒸馏、任务感知课程规划、指令数据优化等方面进行了深入研究,并广泛应用于移动设备、边缘计算、客户服务、内容创作和教育技术等领域。