GPU优化
Flux.1 Lite
Flux.1 Lite是一款轻量级AI图像生成模型,基于Transformer架构,通过参数优化和精度保持技术,在减少内存占用的同时提升运行速度。其主要功能包括高质量图像生成、资源优化、快速部署及广泛适用性,适用于个人创作、教育、游戏开发、数字艺术以及广告营销等多个领域。
KTransformers
KTransformers是一款由清华大学KVCache.AI团队与趋境科技联合开发的开源工具,用于提升大语言模型的推理性能并降低硬件门槛。它支持在24GB显卡上运行671B参数模型,利用MoE架构和异构计算策略实现高效推理,预处理速度达286 tokens/s,推理速度达14 tokens/s。项目提供灵活的模板框架,兼容多种模型,并通过量化和优化技术减少存储需求,适合个人、企业及研究场景使用。