赤兔Chitu

Chitu是什么

Chitu（赤兔）是由清华大学高性能计算研究所与清程极智联合开发的开源高性能大模型推理引擎，旨在解决大模型在推理过程中存在的高成本和低效率问题。该引擎具备强大的硬件适配能力，支持英伟达多款GPU及国产芯片，不再依赖特定硬件架构（如英伟达Hopper）。在A800集群上部署DeepSeek-R1-671B模型时，相比部分国外开源框架，GPU使用量减少50%，推理速度提升3.15倍。Chitu支持从纯CPU到大规模集群的全场景部署，满足多样化的推理需求。

Chitu的主要功能

• 多元算力适配：支持英伟达多系列GPU及国产芯片，打破对特定架构的依赖。
• 全场景可伸缩：提供从CPU到大规模集群的灵活部署方案，适应不同规模的应用场景。
• 低延迟优化：提升对延迟敏感任务的响应速度，适用于金融风控等场景。
• 高吞吐优化：提高并发处理能力，适用于智能客服等高负载场景。
• 小显存优化：降低显存占用，提升资源利用率。
• 长期稳定运行：适合实际生产环境，保障业务连续性。
• 开箱即用：提供一体化部署方案和运维支持，简化AI落地流程。

Chitu的技术原理

• 底层技术革新：实现FP8精度模型在非英伟达Hopper架构及国产芯片上的原生运行，拓宽硬件兼容性。
• 算子级优化：对关键算子进行指令级优化，提升推理性能并保持精度。
• 全场景性能优化：根据不同场景需求，动态调整系统资源分配以达到最佳性能。
• 并行计算与编译优化：基于多年并行计算与编译技术积累，提升算子开发效率。

Chitu的项目地址

• Github仓库：https://github.com/thu-pacman/chitu

Chitu的应用场景

• 风险识别与预警：实时分析交易数据，提升金融机构的风险管理能力。
• 智能客服与客户体验优化：通过大模型快速响应客户需求，提升服务效率。
• 疾病诊断辅助：加速医疗数据分析，提高诊断准确性。
• 交通流量优化：实时处理交通数据，改善城市交通状况。
• 科研数据分析：高效处理复杂科研数据，推动研究进程。