性能、成本与 POSIX 兼容性比较: JuiceFS vs EFS vs FSx for Lustre

JuiceFS 是一款为云环境设计的分布式高性能文件系统。Amazon EFS 易于使用且可伸缩,适用于多种应用。Amazon FSx for Lustre 则是面向处理快速和大规模数据工作负载的高性能文件系统。

在本文中,我们将通过一系列测试,来评估这三种主流文件系统的性能与成本表现,帮助用户快速了解这些产品。

01 测试环境

测试采用了AWS 的 c5.4xlarge 实例(16核,32GB 内存,10Gbps 网络带宽),涵盖了AWS EFS、JuiceFS 云服务(位于美西2区),以及 AWS FSx for Lustre(1.2 TB、1,200 MB/s配置)。

JuiceFS 客户端测试:配置了 4 个线程,同时测试大文件(1,024 MiB 文件,每块1 MiB 读/写)和小文件(128 KiB 文件,100 个文件读/写)。

02 性能测试与用例

性能测试主要用于评估大文件和小文件的顺序读写性能:

  • 大文件顺序读写:对于需要持续吞吐量的应用非常关键,例如大语言模型(LLM)的数据处理和训练、基因测序、大数据分析、视频流和数据备份;
  • 小文件顺序读写 :模拟了在计算机视觉数据处理和模型训练、媒体处理、科学计算等领域常见的工作负载。
    下表显示了吞吐量的测试结果(单位 MiB/s):
测试场景 EFS JuiceFS FSx for Lustre
写大文件 475 1,116 594
读大文件 568 1,016 590
写小文件 29 8 297
读小文件 104 160 274
  • 大文件:JuiceFS 在读写大文件方面是最快的。
  • 小文件:FSx for Lustre 在读写小文件方面表现最佳。

挂载 JuiceFS 的参数如下:

bash 复制代码
- buffer-size=1024
- max-upload=200
- max-download=200

03 费用比较

下表列出了这些产品的收费标准(单位 $):

费用项目 EFS JuiceFS FSx for Lustre
存储 0.30/GB-month 0.02/GB-month + S3 0.023/GB-month 0.60/GB-month
写访问 0.06/GB 0.10/GB cross AZ Free same region + S3 API $0.005/1,000 requests Free same AZ 0.10/GB cross AZ
读访问 0.03/GB 0.10/GB cross AZ Free same region + S3 API $0.0004/1,000 requests Free same AZ0.10/GB cross AZ
读小文件 104 160 274
  • AWS EFS 根据存储和访问量收费,对于大规模使用来说相对成本较高;
  • 使用 JuiceFS 产生的费用,包括 S3 和 JuiceFS 两部分,但仍然是一个成本较低方案,尤其是当数据在同一区域内访问时,成本效益尤为突出;
  • FSx for Lustre 提供了高性能,但其存储成本最高。

需要特别注意的是一项隐藏费用,跨可用区(AZ)数据传输费用。对于 AWS EFS 和FSx for Lustre 来说,跨不同可用区的数据传输可能会带来额外的成本。而 JuiceFS 利用了 S3 存储在同一地区内的可免费访问的特性,从而减少了这部分的费用。

04 POSIX 兼容性对比

在 AI 应用中,数据处理流程较为复杂,POSIX 兼容性成为团队考量的重要因素。因此,本次比较的结尾部分将提供这三种文件系统在 POSIX 兼容性方面的详细对比。在我们的另一篇博客文章中,对比了云上七款文件系统的 POSIX 兼容性,其中 JuiceFS 通过了全部 8832 项测试,EFS 未通过 1895 项测试,失败比例为 21%,具体测试项目可以参考这篇博客。

之前的测试未包含 FSx for Lustre, 我们按照上述博客中的测试方法,对 FSx for Lustre 的 POSIX 兼容性再次进行了测试,FSX for Lustre 有 16 项测试未通过, 其中 chown 失败 14 项,utimensat 失败 2 项。

此外,JuiceFS 支持 POSIX ACL、回收站、子目录挂载、子目录配额、数据透明压缩、数据在传输和静态时的加密、跨区域复制等功能。

05 小结

JuiceFS在顺序读/写场景中展现出了显著的性能优势,超越了AWS EFS,与 AWS FSx for Lustre 结果相当,但成本更低提供了。而针对随机读/写操作,通常网络文件系统是相对低效的,在这种情况下,为了获得最佳性能,建议使用高级集群技术,将操作集中在本地,同时将远程过程进行批量处理。

总体而言, JuiceFS 提供了兼顾性能与成本优势的方案,在需要大量顺序读/写工作负载的场景,JuiceFS 是一个不错的选择。

希望这篇内容能够对你有一些帮助,如果有其他疑问欢迎加入 JuiceFS 社区与大家共同交流。