本文从部署、概念、接口调试、Java接入、常用查询讲解ES的使用。
一、ES核心定位
1)是什么
Elasticsearch(ES):分布式全文检索引擎,基于Lucene封装,RESTful API,JSON交互;靠倒排索引实现海量数据秒级全文检索、聚合统计,典型ELK日志栈、电商搜索、埋点分析组件。
2)和MySQL对比
| ES概念 | MySQL等价 | 说明 |
|---|---|---|
| Index(索引) | Database库 | 7.x废弃type,一个索引只存一类数据 |
| Document文档 | Row行记录 | JSON格式单条数据,自带_id唯一标识 |
| Field字段 | Column列 | 单个属性 |
| Mapping映射 | Table表结构 | 定义字段类型、分词、是否索引 |
| Shard主分片 | 分库分表 | 水平拆分,创建索引时数量固定不可改 |
| Replica副本 | 备份 | 容灾+分担查询压力,可动态修改数量 |
3)两种核心字段类型
text:分词、全文模糊搜索(商品标题、文章内容);keyword:不分词、精确匹配、排序、聚合(手机号、订单号、状态)。
二、Windows单机部署 ES+Kibana
版本配套规则
ES和Kibana大版本必须完全一致 ,示例用8.x稳定版;Windows解压即用,路径不能中文、空格。
步骤1:下载解压
-
ES压缩包:
elasticsearch-8.x-windows-x86_64.zip -
Kibana压缩包:
kibana-8.x-windows-x86_64.zip
解压示例:D:\soft\es8
D:\soft\kibana8
步骤2:ES配置
关闭安全、单机模式
编辑 config/elasticsearch.yml,追加:
yaml
# 允许外网访问
network.host: 0.0.0.0
http.port: 9200
# 单机节点,不用集群
discovery.type: single-node
# 关闭Xpack安全认证(开发环境)
xpack.security.enabled: false
xpack.security.enrollment.enabled: false
xpack.security.http.ssl.enabled: false
xpack.security.transport.ssl.enabled: false
修改JVM内存 config/jvm.options(本机开发推荐):
-Xms512m
-Xmx512m
步骤3:启动ES
执行 bin/elasticsearch.bat,黑窗口不要关闭;
验证:浏览器访问 http://127.0.0.1:9200,返回版本JSON即成功。
步骤4:Kibana可视化控制台
写DSL必备
- 修改
config/kibana.yml
yaml
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://127.0.0.1:9200"]
- 启动:
bin/kibana.bat - 访问:
http://127.0.0.1:5601→ 左侧Dev Tools,直接执行DSL语句。
IK中文分词器
默认英文分词,中文必须装IK,版本和ES严格一致:
bash
# ES根目录执行
bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v8.15.1/elasticsearch-analysis-ik-8.15.1.zip
重启ES生效;分词模式:
ik_max_word:细粒度拆分(检索用)ik_smart:粗粒度拆分(存入索引用)
三、DSL全套CRUD实操
1)索引操作
json
# 1. 创建索引+Mapping(商品索引,固定字段类型)
PUT /goods
{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0
},
"mappings": {
"properties": {
"id": {"type": "keyword"},
"title": {"type": "text","analyzer":"ik_max_word"},
"price": {"type": "double"},
"category": {"type": "keyword"},
"stock": {"type": "integer"}
}
}
}
# 查看索引结构
GET /goods/_mapping
# 删除索引(谨慎)
DELETE /goods
# 查看所有索引
GET /_cat/indices?v
2)文档CRUD
json
# 新增文档(指定_id=1)
PUT /goods/_doc/1
{
"id":"1001",
"title":"华为Mate70智能手机",
"price":4999,
"category":"手机",
"stock":100
}
# 查询单条
GET /goods/_doc/1
# 全量更新(覆盖整条)
PUT /goods/_doc/1
{
"id":"1001",
"title":"华为Mate70 Pro",
"price":5499,
"category":"手机",
"stock":88
}
# 局部更新(只改单个字段,推荐)
POST /goods/_update/1
{
"doc":{"stock":80}
}
# 删除文档
DELETE /goods/_doc/1
# 批量插入多条
POST /goods/_bulk
{"index":{"_id":2}}
{"id":"1002","title":"小米15手机","price":3999,"category":"手机","stock":200}
{"index":{"_id":3}}
{"id":"1003","title":"机械键盘","price":199,"category":"外设","stock":500}
3)高频检索DSL
(1)全文检索(text分词模糊匹配)
json
# 标题含"手机"
GET /goods/_search
{
"query": {
"match": {
"title": "手机"
}
}
}
(2)精确匹配(keyword)
json
GET /goods/_search
{
"query": {
"term": {
"category": {"value":"手机"}
}
}
}
(3)范围查询+分页+排序
json
# 价格100~5000,价格降序,第1页每页10条
GET /goods/_search
{
"from":0,
"size":10,
"sort":[{"price":"desc"}],
"query":{
"range":{"price":{"gte":100,"lte":5000}}
}
}
(4)布尔组合多条件
json
# 必须是手机 + 价格小于4500,过滤不参与打分
GET /goods/_search
{
"query": {
"bool": {
"must": [{"match":{"title":"手机"}}],
"filter": [{"range":{"price":{"lte":4500}}}]
}
}
}
(5)聚合统计(分类销量、均价)
json
GET /goods/_search
{
"size":0,
"aggs": {
"group_by_category": {
"terms": {"field":"category"},
"aggs": {
"avg_price": {"avg":{"field":"price"}}
}
}
}
}
四、SpringBoot整合ES
Maven依赖
xml
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
application.yml配置
yaml
spring:
elasticsearch:
uris: http://127.0.0.1:9200
方式1:Repository
简单CRUD,类似MyBatis
- 实体类映射ES索引
java
import lombok.Data;
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;
@Data
@Document(indexName = "goods")
public class GoodsDoc {
@Id
private String id;
@Field(type = FieldType.Text, analyzer = "ik_max_word")
private String title;
@Field(type = FieldType.Keyword)
private String category;
@Field(type = FieldType.Double)
private Double price;
private Integer stock;
}
- Mapper接口
java
import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;
public interface GoodsEsRepo extends ElasticsearchRepository<GoodsDoc,String> {
}
- 调用示例
java
@Autowired
private GoodsEsRepo goodsEsRepo;
// 新增
goodsEsRepo.save(new GoodsDoc());
// 根据id查询
Optional<GoodsDoc> doc = goodsEsRepo.findById("1");
方式2:ElasticsearchRestTemplate
用于复杂DSL、聚合、多条件
适合自定义复杂检索,手动拼接DSL,企业主流用法。
五、经典业务架构:MySQL同步ES两种方案
方案1:Canal监听Binlog同步
实时同步
MySQL binlog → Canal → Kafka → Java消费端写入ES,延迟毫秒级,适合订单、商品实时更新场景。
方案2:Logstash定时同步
配置JDBC输入源,定时轮询MySQL增量数据,批量写入ES,T+1离线同步。
六、高频踩坑
- text和keyword用反
模糊搜索用match(text);精确查询、排序、聚合必须term(keyword),否则查不出数据。 - 深分页 from+size>10000
ES默认禁止,大数据分页改用search_after游标分页。 - 不要用
%关键词%通配符查询
全表扫描CPU打满,ES天然分词检索,改用match即可。 - Mapping动态自动推断字段
线上关闭dynamic:true,防止随意新增字段导致索引膨胀、查询变慢。 - 分片数量一经创建不能修改
单机开发主分片设1,集群部署按节点规划,只能重建索引修改。