技术栈
es
safestar2012
6 小时前
java
·
es
Elasticsearch分片设计:从数据分布失衡到集群稳定性实战
很多人以为用了Murmur3哈希就能自动均匀分布,其实这玩意儿在特定数据分布下能坑死你。但实际情况是,如果你的业务ID是顺序生成的(比如用户ID 10001, 10002, 10003),哈希后的分布可能极度不均匀。我们当时就栽在这上面——用户注册时间集中的那批商家,数据全挤在几个分片里。
safestar2012
7 小时前
java
·
开发语言
·
jvm
·
elasticsearch
·
es
Elasticsearch ILM实战:从数据热恋到冷静归档的自动化管理
记得去年做日志平台优化时,我差点因为ILM配置问题背了个P0故障。那天集群突然IOPS飙满,查了半天发现是ILM策略里的forcemerge操作同时触发了50个索引的段合并,直接把磁盘干满了。这次经历让我明白:ILM用好了是神器,用不好就是集群杀手。
safestar2012
1 天前
运维
·
搜索引擎
·
全文检索
·
es
Elasticsearch深度实战:从分布式原理到生产环境踩坑全记录
核心技术点: 分布式架构的底层原理、索引性能优化实战、集群调优与故障排查很多人把Elasticsearch当成一个黑盒搜索引擎,这是最大的误解。Elasticsearch的核心价值在于其分布式架构,但不理解这个架构,就会踩遍所有的坑。
G皮T
1 天前
大数据
·
elasticsearch
·
搜索引擎
·
es
·
索引
·
索引别名
·
aliases
【Elasticsearch】索引别名 aliases
在博文《【Elasticsearch】动手创建一个索引》中,我们创建了一个名为 test-index 的索引,并且指定索引别名为 log-index,同时设置其为写入索引。
ζั͡山 ั͡有扶苏 ั͡✾
7 天前
运维
·
jenkins
·
kibana
·
es
·
filebeat
EFK 日志系统搭建完整教程
本教程详细说明如何在 Linux 环境中搭建完整的 EFK(Elasticsearch + Filebeat + Kibana)日志收集分析系统。
ζั͡山 ั͡有扶苏 ั͡✾
7 天前
es
·
日志收集和报告
ES日志收集与AI智能分析程序
🚀 一个集成了MiniMax AI能力的日志分析小应用,提供智能化的运维监控和报告生成服务。ES日志收集与Kibana的AI日志智能分析,是一套的智能化日志监控解决方案,鉴于该服务需要收费,则基于目前的ES日志收集做了一个小型的日志报告应用。该系统通过集成Elasticsearch强大的数据存储能力和MiniMax AI的智能分析能力,为企业提供实时、准确的日志分析和告警服务。 目前ES查询的规则是固定的,如果要用需要根据自己的日志筛查规则对ES筛查部分代码进行微调(AI就能搞定)
Java爱好狂.
1 个月前
java
·
数据库
·
分布式
·
分布式id
·
es
·
java面试
·
java程序员
分布式ID|从源码角度深度解析美团Leaf双Buffer优化方案
背景在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中,数据日渐增长,对数据分库分表后需要有一个唯一ID来标识一条数据或消息,数据库的自增ID显然不能满足需求;特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识。 此时一个能够生成全局唯一ID的系统是非常必要的。 概括下来,那业务系统对ID号的要求有哪些呢?
Java爱好狂.
1 个月前
java
·
运维
·
jenkins
·
es
·
java面试
·
后端开发
·
java程序员
接上篇:如何在项目中实现ES查询功能?
大家好,之前我们教大家如何将 MySQL 数据同步到 ES。这篇文章在技术派项目中实现 ES 查询功能。
tqs_12345
1 个月前
数据库
·
es
创建es索引
在 Kibana 中创建 Elasticsearch 索引主要通过其 Dev Tools 控制台发送 Elasticsearch API 请求来实现。下面这张图清晰地展示了从准备到创建,再到后续管理的完整操作路径:
菠菠萝宝
2 个月前
java
·
docker
·
kafka
·
rabbitmq
·
canal
·
rocketmq
·
es
【Java八股文】13-中间件面试篇
消息队列 (Message Queue - MQ) 是一种异步通信机制,允许不同的应用程序或服务通过消息进行解耦和通信。 使用 MQ 的主要原因包括:
俺俺
2 个月前
elasticsearch
·
华为云
·
es
·
cce
·
有状态负载
(50)elasticsearch服务部署-有状态负载(华为云平台CCE)
容器1:环境变量:数据存储:容器2:生命周期:实例间发现服务配置:服务配置:访问方式:
a58769
3 个月前
java
·
es
Elasticsearch核心概念与Java实战:从入门到精通
Elasticsearch作为一款基于Lucene构建的开源分布式搜索和分析引擎,在现代大数据领域发挥着至关重要的作用。本文将全面介绍Elasticsearch的核心概念、架构设计,并通过丰富的Java API示例演示如何在实际项目中进行索引管理、文档操作、复杂查询和聚合分析。文章还将涵盖性能优化、集群管理等高级话题,帮助Java开发者全面掌握这一强大技术。
坐吃山猪
3 个月前
elasticsearch
·
es
ES03-常用API
kunwen123
3 个月前
elk
·
es
·
日志分析
·
beats
ELKB日志分析平台 部署
ElasticSearch ELKB 日志分析 介绍 docker-compose一键部署ELK(elasticsearch+logstash+kibana)
小冷coding
4 个月前
java
·
分布式
·
elasticsearch
·
面试
·
es
【面试】面试官:请举例回答Elasticsearch的数据模型有哪些核心概念?
ES的数据模型就像一座图书馆,核心概念有这几个:案例:想象你是个吃货,建了个“美食索引”。 文档就是菜谱(如{"菜名": "红烧肉", "难度": "中等"}),字段是“菜名”和“难度”,映射确保“难度”不是数字(否则系统会懵:为啥“中等”等于 5 5 5?)。 分片:把菜谱分成“川菜”和“粤菜”两个隔层。 副本:万一川菜隔层着火,副本能顶上——保证你还能查到“麻婆豆腐”的配方!
墨痕诉清风
5 个月前
aws
·
es
·
opensearch
AWS OpenSearch Dev Tools使用
罗技123
5 个月前
运维
·
es
用Filebeat OSS 7.10.2将收集日志到Easysearch
Filebeat OSS (Open Source Software) 7.10.2版本是Elastic公司提供的开源版本。移除了一些Elasticsearch商业化的功能插件(但是没移出去干净)
feilieren
5 个月前
运维
·
elasticsearch
·
docker
·
es
Docker 安装 Elasticsearch 9
参考链接Run Elasticsearch locally | Elastic Docs操作系统:Ubuntu 24.04 LTS
墨痕诉清风
5 个月前
aws
·
es
·
waf
·
opensearch
·
elastic
OpenSearch添加仪表盘(elastic、es)
通过waf日志制作大屏,将Block的城市Top10仪表盘。1. waf日志已进入OpenSearch
wangfy_
5 个月前
es
Elasticsearch、Faiss、Milvus在向量索引实现上的核心差
Faiss、Elasticsearch(ES)和Milvus在向量索引实现上的核心差异主要体现在架构定位、索引技术、扩展性及适用场景上,具体对比如下: