广电日志分析系统

需求

广电集团中有若干个系统都产生日志信息,目前大约分布与70到80台服务器中,分别是windows与Linux操作系统。需要将服务器上产生的日志文件利用我们的技术进行解析

设计

每个日志工作站负责30-50个服务器的日志解析工作。可以根据实际需求进行设置,也可以增加或减少日志解析工作站。

测试

目前,针对得到的日志文件进行了分析。完成的了基本的解析算法,并对算法进行了大规模的优化。日志解析基本做到了秒级的处理。以crm_dsmcc点播日志搜集\EdgeB\SSS1中的48M的日志文件为例,解析基本在一秒之内完成。

运行demo.exe,点击"打开日志文件"按钮,选择crm_dsmcc点播日志搜集\EdgeB\SSS1下的文件

在 "Session"选项卡下,左边显示的是全部有assetId的session,右边显示的是该Session对应的日志,其中红色字体的日志为关键日志。

在 "日志记录"选项卡下,显示的该日志文件的所有记录

相关推荐
蓝婷儿3 小时前
前端面试每日三题 - Day 32
前端·面试·职场和发展
星空寻流年4 小时前
CSS3(BFC)
前端·microsoft·css3
九月TTS4 小时前
开源分享:TTS-Web-Vue系列:Vue3实现固定顶部与吸顶模式组件
前端·vue.js·开源
CONTONUE4 小时前
运行Spark程序-在Idea中(二)
大数据·spark·intellij-idea
计算机人哪有不疯的4 小时前
图文展示HDFS、YARN、MapReduce三者关系
大数据·spark
祈5334 小时前
MapReduce 的工作原理
大数据·mapreduce
CodeCraft Studio4 小时前
数据透视表控件DHTMLX Pivot v2.1发布,新增HTML 模板、增强样式等多个功能
前端·javascript·ui·甘特图
Agatha方艺璇4 小时前
MapReduce报错 HADOOP_HOME and hadoop.home.dir are unset.
大数据·hadoop·mapreduce
一把年纪学编程5 小时前
【牛马技巧】word统计每一段的字数接近“字数统计”
前端·数据库·word
llc的足迹5 小时前
el-menu 折叠后小箭头不会消失
前端·javascript·vue.js