GlusterFS性能调优

转载说明:如果您喜欢这篇文章并打算转载它,请私信作者取得授权。感谢您喜爱本文,请文明转载,谢谢。


相关文章:

分布式存储------GlusterFS

关于GlusterFS的卷

GlusterFS---新手陷阱

GlusterFS常用命令集

GlusterFS系统内核调优

前言:

在《GlusterFS系统内核调优》一文中,梳理了GFS在系统层面的调优方案,本文则梳理了GFS在自身方面的性能调优方案。

调优方案:

启用元数据缓存

1)执行以下命令以启用元数据缓存和缓存失效

复制代码
console gluster volume set  group metadata-cache

2)要增加可缓存的文件数,请执行以下命令:

复制代码
console gluster volume set  network.inode-lru-limit

n 设置为 50000。如果卷中的活动文件数增加,则可以增加 非常高。增加此数字会增加砖进程的内存占用量。

3)执行以下命令以启用特定于 samba 的元数据缓存:

复制代码
console gluster volume set  cache-samba-metadata on

4)默认情况下,一些xattrs由gluster缓存,例如:capability xattrs、ima xattrs acl等。

如果使用Gluster存储的应用程序使用了其他xattrs,请执行以下命令将这些xattrs添加到元数据缓存列表中:

复制代码
console Gluster volume set <volname> xattri -cache-list "逗号分隔的xattr list"

例如:
console Gluster volume set <volname> xattri -cache-list "user.org.netatalk.*,user.swift.metadata"

目录操作

除了启用元数据缓存外,还可以将以下选项设置为 提高目录操作的性能:

1)文件/目录列表性能:

复制代码
# 开启parallel-readdir
console gluster volume set  performance.readdir-ahead on gluster volume set  performance.parallel-readdir on

2)文件/目录创建性能:

复制代码
# 开启nl-cache
console gluster volume set <volname> group nl-cache gluster volume set <volname> nl-cache-positive-entry on

上述命令还启用缓存失效,并将超时增加到 10 分钟

小文件读取操作

对于主要使用小文件读取的用例,请启用以下选项

复制代码
gluster volume set <volname> performance.cache-invalidation on
gluster volume set <volname> features.cache-invalidation on
gluster volume set <volname> performance.qr-cache-timeout 600 # 10 min recommended setting
gluster volume set <volname> cache-invalidation-timeout 600 # 10 min recommended setting

此命令允许在客户端缓存中缓存小文件的内容。启用缓存失效可确保缓存一致性。

总缓存大小可以使用以下方式设置:

复制代码
gluster volume set <volname> cache-size <size>

默认情况下,会缓存大小为"<=64KB"的文件。要更改此值,请执行以下操作:

复制代码
gluster volume set <volname> performance.cache-max-file-size <size>

Note that the size arguments use SI unit suffixes, e.g. 64KB or 2MB.

注意:<size>这个参数使用SI单位后缀,例如64KB或2MB。

以上为GlusterFS官网给的Linux调优方案,可根据自身环境,酌情使用。

相关推荐
黄俊懿5 小时前
【架构师从入门到进阶】第六章:服务集群优化——第八节:线程数公式
java·服务器·数据库·分布式·性能优化·架构·系统架构
步步为营DotNet7 小时前
Async 状态机要搬进运行时了:.NET 10 Runtime Async 实测,快的地方快 1.5 倍,贵的地方贵 5 倍
性能优化·c#·.net·async·runtime
CCblandy18 小时前
雪花 ID 四个边界实测:时钟回拨重号 500 个,前端 JSON.parse 直接丢精度
后端·python·算法·性能优化·架构
Highcharts.js20 小时前
Highcharts 发布16项最新安全公告
人工智能·安全·性能优化·highcharts·可视化图表
我不会起名字3221 天前
MySQL 深分页 LIMIT 1000000 卡死:3 种改写与 4 组实测对比
mysql·性能优化·索引·分页·limit
加宝的起点雷达1 天前
扩散语言模型跑出 2788 tokens/s,单卡就够,怎么做到的
人工智能·性能优化
CCblandy1 天前
向量检索 ANN 参数实测:换一种数据分布,recall 掉了 51 个百分点
人工智能·python·算法·自然语言处理·性能优化
Highcharts.js1 天前
Highcharts 数据过滤实战指南:从基础实现到性能优化
javascript·性能优化·bi·highcharts·前端可视化·数据过滤·交互图表
要开心吖ZSH1 天前
《通过SeaTunnel 把 MySQL 的数据搬进 Doris》番外篇:容量、切分与速度——Doris 能扛多少,比 MySQL 快多少
mysql·性能优化·doris·分区·分表·分桶
yunwei371 天前
eBPF 实例教程:BPF 动态指针处理可变长度数据
linux·后端·性能优化