模型
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
CrushOn AI
CrushOn AI 是一款由 Peekaboo Game Limited 推出的人工智能角色扮演聊天应用。该应用允许用户与AI生成的角色进行深度对话和角色扮演,拥有角色创建与定制、多样化角色库、先进的AI聊天模型以及丰富的角色扮演场景等功能。CrushOn AI 提供免费和多种付费订阅计划,满足不同用户的需求。
