R
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。
App Intents
App Intents 是苹果推出的全新框架,支持开发者将 Siri 和 Apple Intelligence 集成到 iOS 和 macOS 应用中,实现语音控制、自动化操作及内容搜索等功能,大幅提升应用的智能化和便捷性。其核心技术包括意图定义、参数解析和对话管理,适用于邮件、智能家居、笔记、日程管理和健康追踪等多种场景。
