Filebeat收集nginx日志到elasticsearch,最终在kibana做展示(二)

EFK

项目需求是要将 一天或15分钟内 搜索引擎抓取网站次数做个统计,并且 如 200 301 404 状态码 也要区分出来, 访问 404 报错的 url 也要截取出来

前期 收集数据 看这篇文章,点击跳转

收集数据完成之后,使用下面方法做展示

创建一个 仪表盘

复制代码
点击 Dashboards (仪表盘) ,创建一个名为 UA 抓取次数 的仪表盘
进来之后,点击创建可视化

一、先创建 404 报错 及 访问的 url 页面。

在右边点击水平轴,将垂直条形图,改为表。
source.ip 的排名前10的值,选项如下
url 选项如下

在添加一个 url.original 的字段,直接拖拽即可

记录计数选项如下
还需要添加一下筛选条件
复制代码
例如:http.response.status_code:404 AND source.ip:115.144.113.0/24
# http.response.status_code 这个是 状态码字段
# source.ip 这个是客户端 ip字段

然后保存并返回即可。

二、配置百度总抓取次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将 source.ip 改为 115.144.113.0/24
保存并返回即可
三、配置百度抓取404次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将筛选条件改为
http.response.status_code:404 AND source.ip 115.144.113.0/24
保存并返回即可
四、配置百度抓取 200 次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将筛选条件改为
http.response.status_code:200 AND source.ip 115.144.113.0/24
保存并返回即可
五、配置百度抓取 非 200/404 次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将筛选条件改为
source.ip:115.144.113.0/24 AND NOT (http.response.status_code:200 OR http.response.status_code:404)
保存并返回即可

展示:

六、统计所有访问 404 次数及url 地址
下面是 上面图片的小节。



七、统计所有 访问 404 次数总数

展示:

相关推荐
Fireworkitte10 小时前
es的histogram直方图聚合和terms分组聚合
大数据·elasticsearch·搜索引擎
Stringzhua10 小时前
Git踩坑
大数据·git·elasticsearch
铭毅天下11 小时前
从关键词匹配到语义理解——电商搜索引擎的智能化改造实战
搜索引擎
Elastic 中国社区官方博客15 小时前
使用 Elasticsearch 和 AI 构建智能重复项检测
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
星月昭铭1 天前
Spring AI集成Elasticsearch向量检索时filter过滤失效问题排查与解决方案
人工智能·spring boot·spring·elasticsearch·ai
陈煜的博客1 天前
elasticSearch 增删改查 java api
java·大数据·elasticsearch
Hello.Reader1 天前
Rust × Elasticsearch官方 `elasticsearch` crate 上手指南
elasticsearch·rust·jenkins
Freed&1 天前
Elasticsearch 从入门到精通:术语、索引、分片、读写流程与面试高频题一文搞懂
大数据·elasticsearch·面试
椿融雪1 天前
分布式搜索和分析引擎Elasticsearch实战指南
大数据·分布式·elasticsearch
Hello.Reader1 天前
Elasticsearch 全文检索与过滤
elasticsearch·django·全文检索