Filebeat收集nginx日志到elasticsearch,最终在kibana做展示(二)

EFK

项目需求是要将 一天或15分钟内 搜索引擎抓取网站次数做个统计,并且 如 200 301 404 状态码 也要区分出来, 访问 404 报错的 url 也要截取出来

前期 收集数据 看这篇文章,点击跳转

收集数据完成之后,使用下面方法做展示

创建一个 仪表盘

复制代码
点击 Dashboards (仪表盘) ,创建一个名为 UA 抓取次数 的仪表盘
进来之后,点击创建可视化

一、先创建 404 报错 及 访问的 url 页面。

在右边点击水平轴,将垂直条形图,改为表。
source.ip 的排名前10的值,选项如下
url 选项如下

在添加一个 url.original 的字段,直接拖拽即可

记录计数选项如下
还需要添加一下筛选条件
复制代码
例如:http.response.status_code:404 AND source.ip:115.144.113.0/24
# http.response.status_code 这个是 状态码字段
# source.ip 这个是客户端 ip字段

然后保存并返回即可。

二、配置百度总抓取次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将 source.ip 改为 115.144.113.0/24
保存并返回即可
三、配置百度抓取404次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将筛选条件改为
http.response.status_code:404 AND source.ip 115.144.113.0/24
保存并返回即可
四、配置百度抓取 200 次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将筛选条件改为
http.response.status_code:200 AND source.ip 115.144.113.0/24
保存并返回即可
五、配置百度抓取 非 200/404 次数
继续创建可视化界面
水平轴这里直接选 筛选 ,然后将筛选条件改为
source.ip:115.144.113.0/24 AND NOT (http.response.status_code:200 OR http.response.status_code:404)
保存并返回即可

展示:

六、统计所有访问 404 次数及url 地址
下面是 上面图片的小节。



七、统计所有 访问 404 次数总数

展示:

相关推荐
Familyism6 小时前
ES基础入门
大数据·elasticsearch·搜索引擎
跟着珅聪学java10 小时前
git stash详细教程
大数据·elasticsearch·搜索引擎
Elastic 中国社区官方博客10 小时前
使用 Elasticsearch Agent Builder 构建对话式费用助手,结合 Telegram, n8n 和 AWS Bedrock
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·aws
MARSERERER10 小时前
ElasticSearch如何使用bulk load
大数据·elasticsearch
WizLC10 小时前
【后端】关于Elasticsearch的入门,下载安装+使用
java·大数据·后端·elasticsearch·搜索引擎·全文检索
启明真纳10 小时前
Elasticsearch分词
大数据·elasticsearch
老陈头聊SEO21 小时前
生成引擎优化(GEO)助力内容创作与用户体验协同提升的新方法
其他·搜索引擎·seo优化
Elastic 中国社区官方博客1 天前
让我们把这个 expense 工具从 n8n 迁移到 Elastic One Workflow
大数据·运维·elasticsearch·搜索引擎·ai·信息可视化·全文检索
Elasticsearch1 天前
通过将 OpenTelemetry Collector 用作框架,释放其强大功能
elasticsearch
risc1234561 天前
【Elasticsearch】如何读源码
elasticsearch