Elasticsearch 使用问题记录

文章目录

Elasticsearch 使用问题记录

Text类型的字段,无法进行聚合和排序

  • 问题背景:在使用Elasticsearch的过程中,对Text类型的字段[conten]进行了聚合和排序的操作,如

    json 复制代码
    POST /my_index/_search
    {
    "size": 0,
    "aggs": {
        "terms_of_content": {
        "terms": {
            "field": "content"
        }
        }
    }
    }

    该index的mapping配置类似于

    json 复制代码
    "content" : {
          "type" : "text",
          "norms" : false,
          "analyzer" : "field_analyzer@content",
          "term_hash_enable" : true
        }
  • 报错信息

    复制代码
    java.lang.IllegalArgumentException: Text fields are not optimised for operations that require per-document field data like aggregations and sorting, so these operations are disabled by default. Please use a keyword field instead. Alternatively, set fielddata=true on [content] in order to load field data by uninverting the inverted index. Note that this can use significant memory.
  • 问题原因:Text类型的字段,一般用于全文搜索,进行了分词分析;而排序和聚合需要将整个字段内容都看做一个整体(token)来构建对应的索引,因此对于Text这种用于全文搜索的字段,Elasticsearch默认拒绝对其进行排序和聚合的操作

  • 解决办法

    1. 可以通过修改mapping,在字段中增加一个fields,设置为keyword类型
    json 复制代码
    "content" : {
            "type" : "text",
            "fields" : {
                "keyword" : {
                "type" : "keyword"
                }
            }
    1. 也可以参照错误提示在mapping中增加fielddata=true(不推荐,会占用大量内存)
    json 复制代码
     "content": {
       "type": "text",
       "fielddata": true
     }

高亮查询匹配过多,超出高亮默认限制

  • 问题背景:在查询过程中,查询条件添加了高亮,出现了报错

    查询语句

    json 复制代码
    POST /logs/_search
    {
    "query": {
        "match": {
        "message": "specific_error_code"
        }
    },
    "highlight": {
        "fields": {
        "request_arguments": {} // Highlighting is attempted on the request_arguments field
        }
    }
    }
  • 报错信息

    复制代码
    The length of [specific_error_code] field of [32535924] doc "illegal argument exception', maximum allowed to be analyzed for highlighting.
  • 问题原因:高亮查询的内容超出了highlight.max_analyzed_offset的设置,该配置的含义为高亮的最大字符,默认为[10000]

  • 解决办法:通过调大索引限制(有oom风险)/修改高亮搜索条件

    json 复制代码
      PUT index/_settings
      {
          "index" : {
              "highlight.max_analyzed_offset" : 100000000
          }
      }
    json 复制代码
    POST /logs/_search
    {
    "query": {
        "match": {
        "message": "specific_error_code"
        }
    },
    "highlight": {
        "fields": {
        "*": {}, // Highlight all other fields except the one causing the issue
        "request_arguments": {"no_match": "none"} // Exclude request_arguments from highlighting
        }
    }
    }
相关推荐
倔强的石头1069 分钟前
大数据时代下的时序数据库选型指南:基于工业场景的IoTDB技术优势与适用性研究
大数据·时序数据库·iotdb
火火PM打怪中3 小时前
产品经理如何绘制服务蓝图(Service Blueprint)
大数据·产品经理
Elastic 中国社区官方博客11 小时前
在 Windows 上使用 Docker 运行 Elastic Open Crawler
大数据·windows·爬虫·elasticsearch·搜索引擎·docker·容器
云和数据.ChenGuang12 小时前
运维技术教程之Jenkins的秘钥设置
运维·servlet·jenkins·自动化监控·运维技术教程
谢白羽12 小时前
jenkins搭建笔记
运维·笔记·jenkins
土小帽软件测试12 小时前
docker安装、启动jenkins服务,创建接口自动化定时任务(mac系统)
docker·容器·jenkins
世纪摆渡人12 小时前
部署-k8s和docker、jenkins的区别和联系
docker·kubernetes·jenkins
一切顺势而行13 小时前
Flink cdc 使用总结
大数据·flink
淦暴尼15 小时前
基于spark的二手房数据分析可视化系统
大数据·分布式·数据分析·spark
Ashlee_code16 小时前
裂变时刻:全球关税重构下的券商交易系统跃迁路线图(2025-2027)
java·大数据·数据结构·python·云原生·区块链·perl