广电日志分析系统

需求

广电集团中有若干个系统都产生日志信息,目前大约分布与70到80台服务器中,分别是windows与Linux操作系统。需要将服务器上产生的日志文件利用我们的技术进行解析

设计

每个日志工作站负责30-50个服务器的日志解析工作。可以根据实际需求进行设置,也可以增加或减少日志解析工作站。

测试

目前,针对得到的日志文件进行了分析。完成的了基本的解析算法,并对算法进行了大规模的优化。日志解析基本做到了秒级的处理。以crm_dsmcc点播日志搜集\EdgeB\SSS1中的48M的日志文件为例,解析基本在一秒之内完成。

运行demo.exe,点击"打开日志文件"按钮,选择crm_dsmcc点播日志搜集\EdgeB\SSS1下的文件

在 "Session"选项卡下,左边显示的是全部有assetId的session,右边显示的是该Session对应的日志,其中红色字体的日志为关键日志。

在 "日志记录"选项卡下,显示的该日志文件的所有记录

相关推荐
前端布道师3 分钟前
Web响应式:列表自适应布局
前端
ZeroTaboo5 分钟前
rmx:给 Windows 换一个能用的删除
前端·后端
B站_计算机毕业设计之家9 分钟前
豆瓣电影数据可视化分析系统 | Python Flask框架 requests Echarts 大数据 人工智能 毕业设计源码(建议收藏)✅
大数据·python·机器学习·数据挖掘·flask·毕业设计·echarts
Hello.Reader12 分钟前
Flink JobManager 高可用(High Availability)原理、组件、数据生命周期与 JobResultStore 实战
大数据·flink
happyboy198621112 分钟前
2026 高职大数据专业考什么证书对就业有帮助?
大数据
李剑一16 分钟前
Vue实现大屏获取当前所处城市及当地天气(纯免费)
前端
Hello.Reader20 分钟前
Flink 对接阿里云 OSS(Object Storage Service)读写、Checkpoint、插件安装与配置模板
大数据·阿里云·flink
Lansonli23 分钟前
大数据Spark(八十):Action行动算子fold和aggregate使用案例
大数据·分布式·spark
_果果然27 分钟前
这 7 个免费 Lottie 动画网站,帮你省下一个设计师的工资
前端
QT.qtqtqtqtqt29 分钟前
uni-app小程序前端开发笔记(更新中)
前端·笔记·小程序·uni-app