3FS(Fire-Flyer File System)是由DeepSeek开发的高性能分布式文件系统,专为AI训练和推理任务优化。该系统采用现代SSD和RDMA网络技术,通过分离式架构聚合数千个SSD的吞吐量及数百个存储节点的带宽,实现高达6.6 TiB/s的读取性能。3FS提供强一致性保障,并支持通用文件接口,无需用户学习新的存储API。 在AI工作负载中,3FS表现出色,尤其在数据准备、加载、检查点支持以及KVCache缓存方面有显著优势。其技术原理包括分离式架构、CRAQ一致性协议、无状态元数据服务、Direct I/O与RDMA优化等。在实际测试中,3FS在GraySort基准测试中完成110.5 TiB数据排序仅耗时30分钟,平均吞吐量达3.66 TiB/min,KVCache读取峰值可达40 GiB/s。3FS适用于从单节点到大规模集群的多样化场景,具有高度扩展性和灵活性。

评论列表 共有 0 条评论

暂无评论

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部