ElasticSearch存储引擎

如果发生的断电,以及其它故障,这份数据就被排上用场了。因为最后一个提交点,并没有被写到磁盘上(数据落到磁盘上的过程叫做flush),他可能还在内存中,也可能在文件系统上。但是因为故障丢失了,此时可以从translog中拿到这份数据,回放

translog日志的大小也不能是无限大的,因为它的大小,则决定了集群崩溃后恢复的时间长短。如果太大,则会面临集群恢复很久的问题。"index.translog.flush_threshold_size" 这个参数就是指定translog日志最大的大小的。默认为512M。意思是当translog日志大于512M,就一定会触发一次flush,将数据从文件系统落到磁盘上,并将translog清理掉

如果制定index.translog.durability=async 那么就要面临丢数据的风险了

index.refresh_interval:refresh刷新频率,默认1s一次,可以设置为-1为禁用

index.translog.durability:

request:同步刷盘(默认)

async:异步刷盘

index.translog.sync_interval:translog异步刷盘间隔时间;默认5s一次

index.translog.flush_threshold_size:当translog的大小达到此值时会进行一次flush操作。默认是512m

index.translog.flush_threshold_period:在指定的时间间隔内如果没有进行flush操作,会进行一次强制flush操作。默认是30分钟

index Buffer 大小设置:

indices.memory.index_buffer_size:接受百分比或字节大小值,默认为10%,意味着分配给node的总内存的10%用于索引缓冲区

indices.memory.min_index_buffer_size:如果将index_buffer_size设置为备份比,则可以用此设置指定绝对最小值,默认为48mb

indices.memory.max_index_buffer_size:如果将index_buffer_size设置为百分比,则可以用此设置指定绝对最小值,默认无限制

相关推荐
打工仔折腾 AI26 分钟前
Spring AI + Qwen 周报生成实战:从原始日志到人工确认卡
人工智能·后端·python·spring·elasticsearch·ai agent 实战
一楼的猫32 分钟前
第十一届中国教育后勤展览会杭州开幕 夏拾光影像为阿里、淘宝闪购提供云相册直播与视频服务 - 夏拾光影像
大数据·人工智能·音视频
程序 代码狂人38 分钟前
金融数仓体系与核心业务知识详解
大数据·分布式·spark
shujudang42 分钟前
金融行业数据分析平台选型:客户视图、转化诊断与权限管理
大数据·金融·数据挖掘·数据分析
Pin_Qing1 小时前
同一天,谷歌半价卖旗舰,阶跃翻倍收缓存
大数据·开发语言·人工智能·程序人生·缓存
Lalolander1 小时前
灵基Lingee怎么下载安装?Mac 与 Win 详细指南
大数据·人工智能·科技·macos·金蝶灵基
智圣新创011 小时前
从数据要素流通到服务体验升级 高校全域数据治理长效落地的行业实践参考
大数据·人工智能
YH_Analytics1 小时前
户外蓝牙音箱行业集中度分析及企业排名变化趋势
大数据·人工智能
深蓝电商API1 小时前
亿级数据的存储选型:MongoDB/ES/ClickHouse横评
爬虫·clickhouse·mongodb·elasticsearch
言午说数据2 小时前
Paimon把LSM搬进湖里的得与失
大数据·后端