广电日志分析系统

需求

广电集团中有若干个系统都产生日志信息,目前大约分布与70到80台服务器中,分别是windows与Linux操作系统。需要将服务器上产生的日志文件利用我们的技术进行解析

设计

每个日志工作站负责30-50个服务器的日志解析工作。可以根据实际需求进行设置,也可以增加或减少日志解析工作站。

测试

目前,针对得到的日志文件进行了分析。完成的了基本的解析算法,并对算法进行了大规模的优化。日志解析基本做到了秒级的处理。以crm_dsmcc点播日志搜集\EdgeB\SSS1中的48M的日志文件为例,解析基本在一秒之内完成。

运行demo.exe,点击"打开日志文件"按钮,选择crm_dsmcc点播日志搜集\EdgeB\SSS1下的文件

在 "Session"选项卡下,左边显示的是全部有assetId的session,右边显示的是该Session对应的日志,其中红色字体的日志为关键日志。

在 "日志记录"选项卡下,显示的该日志文件的所有记录

相关推荐
Data 3172 分钟前
Hadoop生态圈拓展内容(二)
大数据·数据仓库·hive·hadoop
一只小白菜~29 分钟前
实现实时Web应用,使用AJAX轮询、WebSocket、还是SSE呢??
前端·javascript·websocket·sse·ajax轮询
晓翔仔1 小时前
CORS漏洞及其防御措施:保护Web应用免受攻击
前端·网络安全·渗透测试·cors·漏洞修复·应用安全
剑海风云1 小时前
Google大数据架构技术栈
大数据·google·架构·bigdata
青云交1 小时前
大数据新视界 --大数据大厂之MongoDB与大数据:灵活文档数据库的应用场景
大数据·数据库·mongodb·非关系型数据库·文档存储·查询功能、数据处理·开发效率、应用场景、高可扩展性
wumingxiaoyao1 小时前
Big Data 流处理框架 Flink
大数据·flink·big data·流处理框架·实时数据处理
青云交1 小时前
大数据新视界 --大数据大厂之HBase深度探寻:大规模数据存储与查询的卓越方案
大数据·数据库·hbase·数据存储·性能优势、问题解决、应用领域·可扩展性、高可靠性·读写性能、集群管理
茜茜西西CeCe1 小时前
大数据处理技术:HBase的安装与基本操作
java·大数据·数据库·hbase·头歌·大数据处理技术
易云码1 小时前
【工作流集成】springboot+vue工作流审批系统(实际源码)
大数据·后端·低代码·系统安全·设计规范
GIS数据转换器2 小时前
跨界融合,GIS如何赋能游戏商业——以《黑神话:悟空》为例
大数据·数据库·人工智能·游戏·gis·智慧城市