DeepSeek AI开源周5/5：开源高性能分布式并行文件系统3FS优化大规模数据集处理
山外的鸭子哥
#人工智能 DeepSeek 开源周 5/5：最后发布的这个项目名为 3FS，是一种为 AI 高性能计算设计的分布式并行文件系统，可以优化大规模数据集的处理。3FS 系统在 DeepSeek R1 和 V3 模型中使用，帮助 DeepSeek 提升推理任务的性能。查看全文：https://ourl.co/108108
今天是 DeepSeek AI 开源周的第五天也是最后一天，最后一个开源项目是名为 3FS (Fire-Flyer 文件系统)，这是一款专门为 AI 高性能计算 (HPC) 设计的分布式文件系统。
3FS 是一种高性能的分布式并行文件系统，旨在充分利用现代固态硬盘和远程直接内存访问 (RDMA) 网络的带宽，提供并行数据访问和充分利用硬件实现高 IOPS 和吞吐量。
该文件系统的主要特点包括：
并行数据访问：优化大规模数据集的处理，适合 AI 模型训练相关的领域
硬件利用：通过 NVMe SSD 和 RDMA 网络实现高 IOPS 和吞吐量
去中心化架构：确保数据一致性，适合分布式系统
性能指标：在 180 节点集群中聚合读取吞吐量高达 6.6TiB / 秒、25 节点集群 GraySort 基准测试吞吐量达 3.66TiB / 分钟
Smallpond 数据处理框架：
该框架是 DeepSeek 基于 3FS 文件系统开发的数据处理框架，尽管具体细节有限，但研究表明该框架可能用于高效处理 AI 相关的数据任务，例如数据预处理和加载，该框架的设计充分利用 3FS 的高性能特性，为 DeepSeek 的 AI 模型提供数据支持。
3FS 文件系统在 DeepSeek AI 模型中的应用：
训练数据预处理：高效管理并准备大规模数据集
数据集加载：快速将数据集加载到内存中，支持训练和推理
检查点保存和重载：便于保存和恢复模型训练数据从而优化开发流程
嵌入向量搜索和 KVCache 查找：提升推理任务的性能特别是在 DeepSeek V3 和 R1 模型中的推理阶段
有兴趣的开发者可以在这里查看 3FS 项目的更多内容：https://github.com/deepseek-ai/3FS
