Filebeat收集nginx日志到elasticsearch,最终在kibana做展示(二)

EFK

项目需求是要将 一天或15分钟内 搜索引擎抓取网站次数做个统计,并且 如 200 301 404 状态码 也要区分出来, 访问 404 报错的 url 也要截取出来

前期 收集数据 看这篇文章,点击跳转

收集数据完成之后,使用下面方法做展示

创建一个 仪表盘

复制代码
点击 Dashboards (仪表盘) ,创建一个名为 UA 抓取次数 的仪表盘
进来之后,点击创建可视化

一、先创建 404 报错 及 访问的 url 页面。

在右边点击水平轴,将垂直条形图,改为表。
source.ip 的排名前10的值,选项如下
url 选项如下

在添加一个 url.original 的字段,直接拖拽即可

记录计数选项如下
还需要添加一下筛选条件
复制代码
例如:http.response.status_code:404 AND source.ip:115.144.113.0/24
# http.response.status_code 这个是 状态码字段
# source.ip 这个是客户端 ip字段

然后保存并返回即可。

二、配置百度总抓取次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将 source.ip 改为 115.144.113.0/24
保存并返回即可
三、配置百度抓取404次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将筛选条件改为
http.response.status_code:404 AND source.ip 115.144.113.0/24
保存并返回即可
四、配置百度抓取 200 次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将筛选条件改为
http.response.status_code:200 AND source.ip 115.144.113.0/24
保存并返回即可
五、配置百度抓取 非 200/404 次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将筛选条件改为
source.ip:115.144.113.0/24 AND NOT (http.response.status_code:200 OR http.response.status_code:404)
保存并返回即可

展示:

六、统计所有访问 404 次数及url 地址
下面是 上面图片的小节。



七、统计所有 访问 404 次数总数

展示:

相关推荐
二哈赛车手19 小时前
新人笔记---idea索引失效问题解决方案
java·笔记·spring·elasticsearch·intellij-idea
MemoriKu19 小时前
Flutter 本地 AI 相册工程收口:从屏幕常亮、标签体系到照片属性后台队列
大数据·人工智能·python·flutter·elasticsearch·搜索引擎·数据库架构
Elastic 中国社区官方博客20 小时前
Elasticsearch:使用向量搜索构建现代应用的最佳实践
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
老陈头聊SEO21 小时前
长尾关键词优化策略助力SEO效果提升的关键要素
其他·搜索引擎·seo优化
是潮汕的灿灿展吖1 天前
elasticsearch单机版本数据迁移
大数据·elasticsearch·搜索引擎
Elasticsearch1 天前
你的 search index 已经是一个 agent 记忆系统 : 用于 Claude Code 的持久化 agent memory
elasticsearch
Elasticsearch1 天前
使用 LangChain Deep Agents 框架与 Elasticsearch 进行系统性研究
elasticsearch
master3361 天前
git仓库通过脚本完成多个远程仓库同步
大数据·git·elasticsearch
金融支付架构实战指南1 天前
ES电商检索方案设计案例
大数据·elasticsearch·搜索引擎
LB9678161 天前
外贸企业GEO优化怎么做?独立站AI搜索引擎排名策略详解
大数据·人工智能·搜索引擎·外贸独立站·ai建站·geo优化·ai搜索排名