ElasticSearch中的索引模板详解

概述

索引模板(Index Template)是Elasticsearch中预先定义的一组配置,在创建新索引时自动应用匹配规则的配置,无需每次手动指定。它可以帮助你统一管理索引的设置(settings)、映射(mappings)和别名(aliases)。

其核心作用如下:

  • 标准化配置:统一同一类索引的分片数、副本数、刷新间隔等设置
  • 自动映射:提前定义字段类型、分词器、是否索引等属性,避免动态映射产生错误
  • 简化操作:创建索引时自动应用配置,无需每次重复写参数
  • 生命周期管理:配合ILM(索引生命周期管理)实现索引的自动轮转、删除等操作

从Elasticsearch 7.8版本开始,引入了可组合索引模板(Composable Index Template) 和 组件模板(Component Template),同时兼容旧版模板(Legacy Index Template):

类型 版本支持 核心结构 优势 劣势
可组合模板(Composable) 7.8+(推荐) 组件模板 + 索引模板 配置复用、易维护、支持多租户、适配数据流 学习成本略高
旧版模板(Legacy) 7.x 兼容 单一配置结构 简单直接 无法复用、复杂场景难维护、8.x 逐步淘汰

⚠️ 注意:旧版模板在8.x版本中已经被移除,建议7.x版本开始使用新的可组合模板体系

为什么需要索引模板?

ES的索引创建默认会自动推断字段类型(动态mapping),但生产环境往往需要统一规范:

  • 所有日志类索引统一设置1分片1副本,不需要每次创建索引手动指定
  • 所有字符串类型字段默认同时创建text(全文检索)和keyword(精确匹配)两个类型
  • 所有时间字段统一用date类型,指定时间格式
  • 业务专有字段统一使用IK分词器如果不用模板,每次创建新索引都要手动写一遍配置,不仅麻烦还容易出错,尤其适合按时间滚动的索引场景(比如日志、监控指标,每天/每小时生成一个新索引:log-2026.04.20、metric-2026.04.20)。

旧版索引模板创建实战案例

旧版索引模板比较简单粗暴,它是直接为一类索引定义了一个模板,后续直接使用即可

创建一个日志场景的索引模板

复制代码
# 请求
PUT _template/log_template_test
{
  "index_patterns": ["log-*"],
  "order": 1,
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "refresh_interval": "30s"
  },
  "mappings": {
    "properties": {
      "@timestamp": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss||epoch_millis"
      },
      "message": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      },
      "level": { "type": "keyword" },
      "service_name": { "type": "keyword" }
    }
  },
  "aliases": {
    "logs_all": {}
  }
}

# 参数解析
log_template_test:索引模板名称
index_patterns:指定模板匹配规则,所有名字以 log- 开头的索引(比如 log-2025-01-01、log-app-123)自动应用这个模板
order:模板优先级,数字越大优先级越高。如果多个模板匹配同一个索引,order 大的覆盖小的
settings:指定索引设置
number_of_shards:索引主分片数量
number_of_replicas:索引副本分片数量
refresh_interval:数据写入后,30 秒后才可以被搜索到,调大提升写入性能,调小提升实时性
mappings:指定字段映射规则,定义每个字段的类型、分词、格式,相当于给数据建表结构
aliases:给所有匹配该模板的索引自动绑定别名,不用管索引是 log-2025-01 还是 log-2025-02,直接查询 logs_all 就能查所有日志

查看旧版本索引模板

复制代码
# 查看索引的索引模板
GET _template

# 查看指定的索引模板
GET _template/log_template_test
# 响应
{
  "log_template_test" : {
    "order" : 1,
    "index_patterns" : [
      "log-*"
    ],
    "settings" : {
      "index" : {
        "number_of_shards" : "3",
        "number_of_replicas" : "1",
        "refresh_interval" : "30s"
      }
    },
    "mappings" : {
      "properties" : {
        "@timestamp" : {
          "format" : "yyyy-MM-dd HH:mm:ss||epoch_millis",
          "type" : "date"
        },
        "level" : {
          "type" : "keyword"
        },
        "service_name" : {
          "type" : "keyword"
        },
        "message" : {
          "search_analyzer" : "ik_smart",
          "analyzer" : "ik_max_word",
          "type" : "text"
        }
      }
    },
    "aliases" : {
      "logs_all" : { }
    }
  }
}

旧版本索引模板的删除和更新

复制代码
// 更新模板:和创建语法一样,覆盖原有配置即可
PUT _template/log_template_test
{
  // 新的配置
}
// 删除模板
DELETE _template/log_template_test

创建索引测试

复制代码
# 创建一个符合规则的索引测试
PUT log-2026.04.20

# 查看索引结构
GET log-2026.04.20
# 响应,能够看到符合我们的索引模板结构
{
  "log-2026.04.20" : {
    "aliases" : {
      "logs_all" : { }
    },
    "mappings" : {
      "properties" : {
        "@timestamp" : {
          "type" : "date",
          "format" : "yyyy-MM-dd HH:mm:ss||epoch_millis"
        },
        "level" : {
          "type" : "keyword"
        },
        "message" : {
          "type" : "text",
          "analyzer" : "ik_max_word",
          "search_analyzer" : "ik_smart"
        },
        "service_name" : {
          "type" : "keyword"
        }
      }
    },
    "settings" : {
      "index" : {
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "refresh_interval" : "30s",
        "number_of_shards" : "3",
        "provided_name" : "log-2026.04.20",
        "creation_date" : "1776751447902",
        "number_of_replicas" : "1",
        "uuid" : "DPR1wHFMRJuOUdHs-ZI-Hw",
        "version" : {
          "created" : "7172699"
        }
      }
    }
  }
}

新版本索引模板实战案例

新版本索引模板是在ES7.8版本开始引入的,新版本索引模板又称为可组合索引模板,其主要有以下部分组成:

  • 组件模板
  • 可组合索引模板
  • 优先级规则

接下来我们一个一个讲解

组件模板

组件模板是可复用的配置单元,通常按功能拆分,比如:

  • 通用设置组件:配置分片数、副本数
  • 通用映射组件:配置的类型和分词器
  • 别名组件:配置统一的查询别名

创建各类型组件模板

  • 通用设置组件

    PUT _component_template/settings-component-test
    {
    "template": {
    "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "refresh_interval": "30s"
    }
    }
    }

    参数解析

    settings-component-test:组件模板名称
    number_of_shards:主分片数量
    number_of_replicas:副本分片数量
    refresh_interval:数据写入后,30 秒后才可以被搜索到,调大提升写入性能,调小提升实时性

  • 通用映射组件

    PUT _component_template/mappings-component-test
    {
    "template": {
    "mappings": {
    "properties": {
    "@timestamp": { "type": "date" },
    "message": { "type": "text", "analyzer": "standard" },
    "host": { "type": "keyword" },
    "level": { "type": "keyword", "index": false }
    }
    }
    }
    }

  • 通用别名组件

    PUT _component_template/aliases-component-test
    {
    "template": {
    "aliases": {
    "all_logs": {}
    }
    }
    }

组件模板其它运维操作

  • 查询组件模板

    查询所有组件模板

    GET _component_template

    查询指定的组件模板

    GET _component_template/settings-component-test

    响应结果

    {
    "component_templates" : [
    {
    "name" : "settings-component-test",
    "component_template" : {
    "template" : {
    "settings" : {
    "index" : {
    "number_of_shards" : "3",
    "number_of_replicas" : "1",
    "refresh_interval" : "30s"
    }
    }
    }
    }
    }
    ]
    }

  • 删除组件模板

    删除组件模板

    DELETE _component_template/settings-component-test

  • 修改组件模板

    修改组件模板

    PUT _component_template/settings-component-test
    {
    "template": {
    "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "refresh_interval": "20s"
    }
    }
    }

可组合索引模板

可组合索引模板是真正给创建索引时使用的,其由三部分组成:

  • 匹配规则:index_patterns 定义哪些索引会匹配这个模板,支持通配符,比如"logs-*"
  • 优先级:priority 数值越大优先级越高,当多个模板匹配同一个索引时,高优先级的模板生效
  • 配置来源:
    • composed_of:引用的组件模板列表,按顺序叠加配置
    • template:直接在索引模板中定义的配置,优先级高于引用的组件模板

创建一个可组合索引模板

创建日志索引模板,匹配 logs-* 索引,组合上述组件模板,并补充个性化配置。

复制代码
PUT _index_template/logs-template-test
{
  "index_patterns": ["logs-*"],
  "priority": 200,
  "composed_of": ["settings-component-test", "mappings-component-test", "aliases-component-test"],
  "template": {
    "mappings": {
      "properties": {
        "error_code": { "type": "integer" }
      }
    }
  },
  "version": 1,
  "_meta": {
    "description": "日志索引模板,组合通用组件模板,补充错误码字段"
  }
}

# 参数解析
index_patterns:匹配索引名称的通配符规则
priority:类似旧版本的order字段,模板优先级,数字越大优先级越高。如果多个模板匹配同一个索引,priority 大的覆盖小的,默认值100.
composed_of:引用的组件模板名称列表。
template:直接定义索引模板里的配置,与组件模板互为补充,但是其优先级比引用的组件模板高。
version:定义索引模板的版本
_meta:索引模板的元数据信息

查看新版本索引模板

复制代码
# 查看所有的
GET _index_template

# 查看指定的
GET _index_template/logs-template-test
# 响应
{
  "index_templates" : [
    {
      "name" : "logs-template-test",
      "index_template" : {
        "index_patterns" : [
          "logs-*"
        ],
        "template" : {
          "mappings" : {
            "properties" : {
              "error_code" : {
                "type" : "integer"
              }
            }
          }
        },
        "composed_of" : [
          "settings-component-test",
          "mappings-component-test",
          "aliases-component-test"
        ],
        "priority" : 200,
        "version" : 1,
        "_meta" : {
          "description" : "日志索引模板,组合通用组件模板,补充错误码字段"
        }
      }
    }
  ]
}

新版本索引模板的删除和更新

复制代码
// 更新模板:和创建语法一样,覆盖原有配置即可
PUT _index_template/logs-template-test
{
  // 新的配置
}
// 删除模板
DELETE _index_template/logs-template-test

创建一个索引测试

复制代码
# 创建索引
PUT logs-20260423

# 查看索引
GET logs-20260423
# 响应
{
  "logs-20260423" : {
    "aliases" : {
      "all_logs" : { }
    },
    "mappings" : {
      "properties" : {
        "@timestamp" : {
          "type" : "date"
        },
        "error_code" : {
          "type" : "integer"
        },
        "host" : {
          "type" : "keyword"
        },
        "level" : {
          "type" : "keyword",
          "index" : false
        },
        "message" : {
          "type" : "text",
          "analyzer" : "standard"
        }
      }
    },
    "settings" : {
      "index" : {
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "refresh_interval" : "20s",
        "number_of_shards" : "3",
        "provided_name" : "logs-20260423",
        "creation_date" : "1776913760315",
        "number_of_replicas" : "1",
        "uuid" : "x8sk4JoCQ4C4QFcQe0YnkQ",
        "version" : {
          "created" : "7172699"
        }
      }
    }
  }
}

动态模板

动态模板是自定义未知字段的映射规则,解决默认动态映射的不确定性(如字符串被自动设为 text + keyword,浪费资源)

创建动态模板示例

所有字符串字段自动映射为 keyword,以 env_ 开头的字段不索引,减少存储开销。

复制代码
# 在索引模板的 mappings 中定义动态模板

PUT _index_template/dynamic-logs-template-test
{
  "index_patterns": ["logs-*"],
  "template": {
    "mappings": {
      "dynamic_templates": [
        {
          "string_as_keyword": {
            "match_mapping_type": "string",
            "mapping": { "type": "keyword" }
          }
        },
        {
          "env_fields": {
            "match": "env_*",
            "mapping": { "type": "keyword", "index": false }
          }
        }
      ],
      "properties": {
        "@timestamp": { "type": "date" }
      }
    }
  }
}

匹配规则说明:

匹配规则 说明 示例
match_mapping_type 匹配字段类型 match_mapping_type: "string"
match 匹配字段名前缀 / 后缀 match: "env_*"(匹配 env_name、env_type)
unmatch 排除字段名 unmatch: "env_desc"
path_match 匹配对象路径 path_match: "user.*"(匹配 user.name、user.age)
match_pattern 匹配模式(regex/wildcard) match_pattern: "regex", match: "user_[0-9]+"

索引模板与索引生命周期管理(ILM)集成

索引生命周期管理(ILM)详解

ILM(Index Lifecycle Management) 是 ES 7.x 用于自动管理时序类索引(日志、指标、事件) 从创建、写入、查询、归档到删除全流程的核心功能,核心价值是自动实现热温冷架构、节省存储成本、优化性能、免人工运维。

ILM 通过定义 生命周期策略(Policy),让 ES 自动判断索引 "年龄、大小、文档数",驱动索引在不同阶段流转,并执行滚动、收缩、合并、迁移、删除等操作

适用于日志(logs-)、监控指标(metrics-)、事件(events-*)等只追加、少更新、查询热度随时间递减的数据。

ILM核心三要素:

  • 生命周期策略(Policy):ILM 的 "规则手册",定义阶段、触发条件、执行动作。
  • 索引模板(Index Template):将 Policy 绑定到索引,新创建的匹配索引自动应用。
  • 索引 / 数据流(Data Stream):被管理的对象,数据流更适合时序场景(7.x 推荐)

ILM 五大生命周期阶段(Phases)详解

ILM把索引的生命周期分为五个阶段: Hot → Warm → Cold → Frozen → Delete 顺序流转,每个阶段有明确定位、触发条件和允许动作

每个阶段之间的流转是有固定规则的:

  • 流转依据:min_age(最小年龄),从 索引创建时间 或 Rollover 时间 计算。
  • 流转条件:当前阶段所有动作执行完成 + 达到下一阶段 min_age。
  • 顺序固定:只能按 Hot→Warm→Cold→Frozen→Delete 单向流转,不可回退

Hot阶段(热阶段)------ 核心写入 + 高频查询

这个阶段是索引刚创建完成且数据正在写入、实时高频查询,数据最活跃

  • 定位:索引正在写入、实时高频查询,数据最活跃。
  • 硬件:高性能 SSD 节点、高内存、高 CPU。
  • 默认触发:索引创建即进入(min_age: 0ms)。
  • 核心目标:保障写入性能、稳定查询、触发滚动(Rollover)。
  • 常用动作:
    • rollover(核心):索引达阈值自动切新索引
    • set_priority:设高优先级(如 100)
    • unfollow:跨集群复制场景取消跟随

Warm 阶段(温阶段)------ 只读 + 中频查询

这个阶段索引中数据不再写入,仅用于查询

  • 定位:停止写入、仍频繁查询,数据不再更新。
  • 硬件:普通 SATA/HDD 节点、中等配置。
  • 触发:Rollover 后或达到指定时长(如 7 天)。
  • 核心目标:优化存储、提升查询效率、降资源占用。
  • 常用动作:
    • readonly:设为只读,防误写
    • forcemerge:合并段文件,删删除标记
    • shrink:收缩主分片(如 5→1)
    • allocate:迁移到温节点、降副本数
    • set_priority:降优先级(如 50)

Cold 阶段(冷阶段)------ 极少查询 + 归档

这个阶段查询很少,但是数据仍需保留一段时间

  • 定位:不写、极少查询,需保留但允许慢查询。
  • 硬件:廉价大容量存储、低配置节点。
  • 触发:进入 Warm 后 N 天(如 30 天)。
  • 核心目标:极致省存储、最小化资源占用。
  • 常用动作:
    • allocate:迁冷节点、副本数设 0
    • freeze:冻结索引(卸载内存、只读)
    • searchable_snapshot:转为可搜索快照(7.10+)
    • set_priority:最低优先级(如 0)

Frozen 阶段(冻结阶段,7.7+)------ 超冷归档

  • 定位:几乎不查询、必须留存,查询极慢也可接受。
  • 硬件:对象存储 / 远程仓库,几乎不占本地资源。
  • 触发:进入 Cold 后 N 天(如 60 天)。
  • 核心动作:searchable_snapshot(基于快照搜索,本地几乎不占资源)

Delete 阶段(删除阶段)------ 数据销毁

  • 定位:数据过期、无需留存,安全删除。
  • 触发:进入前一阶段后 N 天(如 90 天)。
  • 核心动作:delete:永久删除索引 + 数据。
  • 可选:wait_for_snapshot:先备份快照再删

实战案例

创建ILM策略

描述:

Hot:50GB 或 7 天 Rollover

Warm:Rollover 后 1 天进入,缩分片、合并段

Cold:Warm 后 30 天进入,降副本、迁冷节点

Delete:Cold 后 60 天删除(总留存 90 天)

复制代码
PUT _ilm/policy/logs_ilm_policy
{
  "policy": {
    "phases": {
      // 1. Hot 阶段:写入+滚动
      "hot": {
        "min_age": "0ms",
        "actions": {
          "set_priority": { "priority": 100 }, // 高优先级
          "rollover": {
            "max_primary_shard_size": "50gb", // 主分片达50GB滚动
            "max_age": "7d"                   // 或7天滚动
          }
        }
      },
      // 2. Warm 阶段:只读+优化
      "warm": {
        "min_age": "1d", // Rollover后1天进入
        "actions": {
          "set_priority": { "priority": 50 },
          "readonly": {}, // 设为只读
          "shrink": { "number_of_shards": 1 }, // 主分片缩为1
          "forcemerge": { "max_num_segments": 1 }, // 合并为1段
          "allocate": {
            "require": { "node_type": "warm" } // 迁到温节点
          }
        }
      },
      // 3. Cold 阶段:归档
      "cold": {
        "min_age": "30d", // 进入Warm后30天
        "actions": {
          "set_priority": { "priority": 0 },
          "allocate": {
            "require": { "node_type": "cold" },
            "number_of_replicas": 0 // 冷数据无副本
          },
          "freeze": {} // 冻结索引
        }
      },
      // 4. Delete 阶段:删除
      "delete": {
        "min_age": "60d", // 进入Cold后60天
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

创建可组合索引模板

  • 创建组件模板

    // 组件模板1:Settings(含ILM)
    PUT _component_template/logs_settings
    {
    "template": {
    "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "index.lifecycle.name": "logs_ilm_policy", // 绑定ILM策略
    "index.lifecycle.rollover_alias": "logs-app-write" // 写入别名
    }
    }
    }

    // 组件模板2:Mappings
    PUT _component_template/logs_mappings
    {
    "template": {
    "mappings": {
    "properties": {
    "@timestamp": { "type": "date" },
    "message": { "type": "text" },
    "app": { "type": "keyword" },
    "level": { "type": "keyword" }
    }
    }
    }
    }

  • 创建可组合索引模板

    // 可组合索引模板
    PUT _index_template/logs_app_template
    {
    "index_patterns": ["logs-app-*"],
    "composed_of": ["logs_settings", "logs_mappings"],
    "priority": 200,
    "version": 1,
    "_meta": { "description": "应用日志索引模板,绑定ILM策略" }
    }

ILM常用管理命令

  • 查看ILM

    查看指定策略

    GET _ilm/policy/logs_ilm_policy

    查看所有策略

    GET _ilm/policy

  • 查看索引 ILM 状态

    查看单个索引ILM详情

    GET logs-app-000001/_ilm/explain

    查看所有索引ILM状态

    GET /*/_ilm/explain?human=true

  • 手动触发 Rollover

    手动触发滚动

    POST logs-app-write/_rollover

  • 删除 ILM 策略

    DELETE _ilm/policy/logs_ilm_policy