25-Elasticsearch 数据建模实例

字段类型：Text v.s Keyword

● Text

⽤于全⽂本字段，⽂本会被 Analyzer 分词
默认不⽀持聚合分析及排序。需要设置 fielddata 为 true

● Keyword

⽤于 id，枚举及不需要分词的⽂本。例如电话号码，email地址，⼿机号码，邮政编码，性别等
适⽤于 Filter（精确匹配），Sorting 和 Aggregations

● 设置多字段类型

默认会为⽂本类型设置成 text，并且设置⼀个 keyword 的⼦字段
在处理⼈类语⾔时，通过增加"英⽂"，"拼⾳"和"标准"分词器，提⾼搜索结构

字段类型：结构化数据

● 数值类型

尽量选择贴近的类型。例如可以⽤ byte，就不要⽤ long

● 枚举类型

设置为 keyword。即便是数字，也应该设置成 keyword，获取更加好的性能

● 其他

⽇期 / 布尔 / 地理信息

检索

● 如不需要检索，排序和聚合分析

Enable 设置成 false

● 如不需要检索

Index 设置成 false ，无法检索，依然能聚合

● 对需要检索的字段，可以通过如下配置，设定存储粒度

Index_options / Norms ：不需要归⼀化数据时，可以关闭

聚合及排序

● 如不需要检索，排序和聚合分析

Enable 设置成 false

● 如不需要排序或者聚合分析功能

Doc_values / fielddata 设置成 false

● 更新频繁，聚合查询频繁的 keyword 类型的字段

推荐将 eager_global_ordinals 设置为 true

额外的存储

● 是否需要专⻔存储当前字段数据

Store 设置成 true，可以存储该字段的原始内容

⼀般结合 _source 的 enabled 为 false 时候使⽤

● Disable _source：节约磁盘；适⽤于指标型数据

⼀般建议先考虑增加压缩⽐

⽆法看到 _source字段，⽆法做 ReIndex，⽆法做Update

Kibana 中⽆法做 discovery

避免过多字段

● ⼀个⽂档中，最好避免⼤量的字段

过多的字段数不容易维护
Mapping 信息保存在 Cluster State 中，数据量过⼤，对集群性能会有影响（Cluster State 信息需要和所有的节点同步）
删除或者修改数据需要 reindex

● 默认最⼤字段数是 1000，可以设置 index.mapping.total_fields.limt 限定最⼤字段数。

● 什么原因会导致⽂档中有成百上千的字段？

Dynamic v.s Strict

● Dynamic（⽣产环境中，尽量不要打开 Dynamic）

true - 未知字段会被⾃动加⼊
false - 新字段不会被索引。但是会保存在 _source
strict - 新增字段不会被索引，⽂档写⼊失败

● Strict

可以控制到字段级别

通过 Nested 对象保存 Key/Value 的⼀些不⾜

● 可以减少字段数量，解决 Cluster State 中保存过多 Meta 信息的问题，但是

导致查询语句复杂度增加
Nested 对象，不利于在 Kibana 中实现可视化分析

实现Filter 过滤，避免正则查询。

⼤⼤提升性能

避免空值引起的聚合不准

使⽤ Null_Value 解决空值的问题

为索引的 Mapping 加⼊ Meta 信息

● Mappings 设置⾮常重要，需要从两个维度进⾏考虑

功能：搜索，聚合，排序
性能：存储的开销；内存的开销；搜索的性能

● Mappings 设置是⼀个迭代的过程

加⼊新的字段很容易（必要时需要 update_by_query)
更新删除字段不允许（需要 Reindex 重建数据）
最好能对 Mappings 加⼊ Meta 信息，更好的进⾏版本管理
可以考虑将 Mapping ⽂件上传 git 进⾏管理

Index 一本书的信息

PUT books/_doc/1
{
"title":"Mastering ElasticSearch 5.0",
"description":"Master the searching, indexing, and aggregation features in ElasticSearch Improve users' search experience with Elasticsearch's functionalities and develop your own Elasticsearch plugins",
"author":"Bharvi Dixit",
"public_date":"2017",
"cover_url":"https://images-na.ssl-images-amazon.com/images/I/51OeaMFxcML.jpg"
}

#查询自动创建的Mapping
GET books/_mapping

DELETE books

#优化字段类型
PUT books
{
"mappings" : {
"properties" : {
"author" : {"type" : "keyword"},
"cover_url" : {"type" : "keyword","index": false},
"description" : {"type" : "text"},
"public_date" : {"type" : "date"},
"title" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 100
}
}
}
}
}
}

#Cover URL index 设置成false，无法对该字段进行搜索
POST books/_search
{
"query": {
"term": {
"cover_url": {
"value": "https://images-na.ssl-images-amazon.com/images/I/51OeaMFxcML.jpg"
}
}
}
}

#Cover URL index 设置成false，依然支持聚合分析
POST books/_search
{
"aggs": {
"cover": {
"terms": {
"field": "cover_url",
"size": 10
}
}
}
}

DELETE books

#新增 Content字段。数据量很大。选择将Source 关闭
PUT books
{
"mappings" : {
"_source": {"enabled": false},
"properties" : {
"author" : {"type" : "keyword","store": true},
"cover_url" : {"type" : "keyword","index": false,"store": true},
"description" : {"type" : "text","store": true},
"content" : {"type" : "text","store": true},
"public_date" : {"type" : "date","store": true},
"title" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 100
}
},
"store": true
}
}
}
}

Index 一本书的信息,包含Content

PUT books/_doc/1
{
"title":"Mastering ElasticSearch 5.0",
"description":"Master the searching, indexing, and aggregation features in ElasticSearch Improve users' search experience with Elasticsearch's functionalities and develop your own Elasticsearch plugins",
"content":"The content of the book......Indexing data, aggregation, searching. something else. something in the way............",
"author":"Bharvi Dixit",
"public_date":"2017",
"cover_url":"https://images-na.ssl-images-amazon.com/images/I/51OeaMFxcML.jpg"
}

#查询结果中，Source不包含数据
POST books/_search
{}

#搜索，通过store 字段显示数据，同时高亮显示 conent的内容
POST books/_search
{
"stored_fields": ["title","author","public_date"],
"query": {
"match": {
"content": "searching"
}
},
```
"highlight": {
  "fields": {
    "content":{}
  }
}
```
}

Cookie Service

##索引数据，dynamic mapping 会不断加入新增字段
PUT cookie_service/_doc/1
{
"url":"www.google.com",
"cookies":{
"username":"tom",
"age":32
}
}

PUT cookie_service/_doc/2
{
"url":"www.amazon.com",
"cookies":{
"login":"2019-01-01",
"email":"xyz@abc.com"
}
}

DELETE cookie_service

#使用 Nested 对象，增加key/value
PUT cookie_service
{
"mappings": {
"properties": {
"cookies": {
"type": "nested",
"properties": {
"name": {
"type": "keyword"
},
"dateValue": {
"type": "date"
},
"keywordValue": {
"type": "keyword"
},
"IntValue": {
"type": "integer"
}
}
},
"url": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
}
}
}

##写入数据，使用key和合适类型的value字段
PUT cookie_service/_doc/1
{
"url":"www.google.com",
"cookies":[
{
"name":"username",
"keywordValue":"tom"
},
{
"name":"age",
"intValue":32
```
  }

 ]
```
}

PUT cookie_service/_doc/2
{
"url":"www.amazon.com",
"cookies":[
{
"name":"login",
"dateValue":"2019-01-01"
},
{
"name":"email",
"IntValue":32
```
  }

 ]
```
}

Nested 查询，通过bool查询进行过滤

POST cookie_service/_search
{
"query": {
"nested": {
"path": "cookies",
"query": {
"bool": {
"filter": [
{
"term": {
"cookies.name": "age"
}},
{
"range":{
"cookies.intValue":{
"gte":30
}
}
}
]
}
}
}
}
}

在Mapping中加入元信息，便于管理

PUT softwares/
{
"mappings": {
"_meta": {
"software_version_mapping": "1.0"
}
}
}

GET softwares/_mapping

PUT softwares/_doc/1
{
"software_version":"7.1.0"
}

DELETE softwares

优化,使用inner object

PUT softwares/
{
"mappings": {
"_meta": {
"software_version_mapping": "1.1"
},
"properties": {
"version": {
"properties": {
"display_name": {
"type": "keyword"
},
"hot_fix": {
"type": "byte"
},
"marjor": {
"type": "byte"
},
"minor": {
"type": "byte"
}
}
}
}
}
}

#通过 Inner Object 写入多个文档
PUT softwares/_doc/1
{
"version":{
"display_name":"7.1.0",
"marjor":7,
"minor":1,
"hot_fix":0
}

}

PUT softwares/_doc/2
{
"version":{
"display_name":"7.2.0",
"marjor":7,
"minor":2,
"hot_fix":0
}
}

PUT softwares/_doc/3
{
"version":{
"display_name":"7.2.1",
"marjor":7,
"minor":2,
"hot_fix":1
}
}

通过 bool 查询，

POST softwares/_search
{
"query": {
"bool": {
"filter": [
{
"match":{
"version.marjor":7
}
},
{
"match":{
"version.minor":2
}
}
```
    ]
  }
}
```
}

DELETE ratings

Not Null 解决聚合的问题

PUT ratings
{
"mappings": {
"properties": {
"rating": {
"type": "float",
"null_value": 1.0
}
}
}
}

PUT ratings/_doc/1
{
"rating":5
}

PUT ratings/_doc/2
{
"rating":null
}

POST ratings/_search

POST ratings/_search
{
"size": 0,
"aggs": {
"avg": {
"avg": {
"field": "rating"
}
}
}
}

POST ratings/_search
{
"query": {
"term": {
"rating": {
"value": 1
}
}
}
}

25-Elasticsearch 数据建模实例

字段类型：Text v.s Keyword

● Text

● Keyword

● 设置多字段类型

字段类型 ：结构化数据

检索

聚合及排序

额外的存储

避免过多字段

Dynamic v.s Strict

通过 Nested 对象保存 Key/Value 的⼀些不⾜

实现Filter 过滤，避免正则查询。

避免空值引起的聚合不准

为索引的 Mapping 加⼊ Meta 信息

Index 一本书的信息

Index 一本书的信息,包含Content

Cookie Service

Nested 查询，通过bool查询进行过滤

在Mapping中加入元信息，便于管理

优化,使用inner object

通过 bool 查询，

Not Null 解决聚合的问题

字段类型：结构化数据