日志分析

螺蛳粉 螺蛳粉2 天前
日志分析·故障排查·大数据运维·cdh排错·clouderamanager·系列收官
CDH第八篇:CDH 部署排错手册(系列收官):一张表解决 7180 打不开、Parcel 失败、Kafka 起不来目录 一、为什么你的 CDH 总是装不好 二、6 类高频故障排查表 三、通用定位三步法 四、三大易错细节(占故障大半) 五、全系列回顾与索引 六、结语 一、为什么你的 CDH 总是装不好 复盘大量部署案例后会发现:CDH 故障极少是"玄学",几乎全部源于环境准备遗漏、介质细节出错、资源不足这三类人为因素。也就是说,绝大多数故障可以靠一张表 + 一个方法论定位。
逐流人9 天前
运维·elk·云原生·云计算·日志分析
ELK企业级日志分析系统:从零搭建集中化日志平台Elasticsearch、Logstash、Kibana三大组件实战,从架构原理到集群部署,一篇文章搞定日志集中管理
SelectDB技术团队15 天前
大数据·数据库·数据仓库·elasticsearch·全文检索·日志分析·apache doris
日志场景 Elasticsearch 替换实操:建表、索引、写入链路与查询改写的完整参数摘要:日志与可观测场景用 Apache Doris 替换 Elasticsearch,工程动作集中在建表模型、索引配置、写入攒批与查询改写四处。中信银行信用卡中心日志云平台从 ES 9 台 16c32G 降到 Doris 4 台 8c32G(CPU 约为原来的 1/4),磁盘占用下降 58%、写入峰值提升 32%、查询耗时下降 38%;网易灵犀办公 Eagle 日志检索平台存储从 100TB 降到 30TB;MiniMax 日志可观测中台日均数百 TB,P95 小于 3 秒、计算资源下降 40%、热数据存
Sayai1 个月前
大数据·运维·elasticsearch·搜索引擎·日志分析
Elasticsearch 日志检索 DSL 实战:时间范围查询、字段去重、分钟级统计与最新日志获取日志平台的检索界面用久了,总会遇到一些"页面做不到"的需求:只想看看时间窗口内到底有哪些日志路径、想按分钟拉一条日志量趋势、想确认每个采集任务"最后一条日志是什么时候写入的"。这些场景直接写 Elasticsearch DSL 查询,比点界面快得多,也更灵活。
SelectDB技术团队1 个月前
数据结构·数据库·clickhouse·日志分析·apache doris·日志存储
ClickHouse 存日志的能力边界:并发、检索与 trace 回放的实测对照摘要:ClickHouse 凭借列式存储与高写入吞吐成为日志场景的常见选择,但高并发查询、关键词检索与 trace 回放三类负载存在明确边界。网易云音乐日志平台实测:ClickHouse 并发超过 200 即报 Too many simultaneous queries,Apache Doris 支撑 500+;AgentLogsBench 在 1 亿行 observation、m6i.8xlarge 同规格下(2026 年 5 月)测得 JSON Path 查询集上 ClickHouse 平均延迟约为
咖啡星人k1 个月前
日志分析·ai工程·排障
工具调用排障手册:四层定位法附日志样例AI 接了工具之后,失败是常态。有效率的做法不是换模型,而是先定位失败在哪一层。本文给出四层定位法与可直接抄的日志格式。
SelectDB技术团队2 个月前
大数据·数据结构·后端·python·全文检索·doris·日志分析
统一全文检索与 SQL 分析:Apache Doris 日志分析实践日志分析通常包含两类工作:定位问题和分析影响。以一次线上故障为例,工程师首先需要在日志中搜索 "out of memory"、异常码或调用栈,快速定位相关日志;随后,还需要统计错误率、受影响请求数量、P99 延迟等指标,评估故障影响范围。
SelectDB技术团队2 个月前
大数据·数据结构·后端·python·doris·日志分析·starrock
StarRocks 适合做日志分析吗?摘要: 日志分析已从单纯全文检索演变为"结构化分析 + 半结构化处理 + 文本检索"的组合。若只做结构化日志统计,StarRocks 可覆盖不少需求;但若目标是统一可观测平台,还需比较半结构化数据、全文检索、生态集成与冷热管理能力。Doris 将可观测作为明确产品方向。
SelectDB技术团队4 个月前
数据库·clickhouse·elasticsearch·json·apache·日志分析·apache doris
Agent 场景动态 JSON 性能拆解:Apache Doris 比 ClickHouse 快 7 倍、比 Elasticsearch 快 2 倍AI Agent 的日志正在变得越来越复杂。过去日志通常只有时间、级别和消息,但现在一次 Agent 调用可能包含模型参数、工具调用、检索结果、Prompt 版本、用户上下文等大量动态字段。这些字段很难提前设计 schema,于是 JSON 成为了最自然的数据承载方式。
OpsEye5 个月前
运维·监控·日志分析
日志、指标、链路追踪,谁更适合定位故障?如果线上系统出故障,只能保留一种排查手段,你会选日志、指标,还是链路追踪?这个问题在技术团队里常被讨论。开发同学通常更相信日志,因为日志能看到异常堆栈和业务细节;运维同学更习惯先看指标,因为指标能最快发现异常;做微服务比较多的团队,又会觉得链路追踪离不开,因为服务一多,请求到底卡在哪里很难靠猜。
运维有小邓@6 个月前
日志分析
通过日志取证分析缓解网络威胁威胁情报是指收集、分析和应用与已知或新兴网络威胁相关的上下文数据。内容包括对威胁行为者使用的IoC、恶意IP、文件哈希、域名和TTP以及整体威胁格局的洞察。
运维有小邓@6 个月前
日志分析
什么是日志记录?日志记录是指对设备或应用程序中发生的事件和活动进行持续记录的过程。任何事件——例如用户登录、系统错误、应用崩溃、权限变更等——都会以日志的形式被记录在系统或应用中。通过日志记录,企业可以对这些数据进行系统化的管理和分析,从而支持故障排查、运维管理以及安全防护等多种场景。
tianshiyeben9 个月前
linux·运维·服务器·日志分析
日志审计系统 WGLOG v1.3 配置与实践WGLOG日志审计系统(www.wgstart.com) v1.3版本,预计在两天后发布更新更新说明如下
PyHaVolask10 个月前
日志分析·入侵检测·webshell查杀·linux应急响应·进程分析·rootkit检测
Linux应急响应实战:异常检测、进程分析与安全加固Linux服务器作为企业基础设施的核心,一旦被入侵,后果可能是灾难性的。从挖矿程序消耗资源,到服务器变成僵尸网络的一员发起DDoS攻击,从WebShell后门到Rootkit隐藏,Linux系统面临的威胁多种多样。本文将系统讲解Linux应急响应的完整流程,从异常现象识别到威胁定位清除,帮助运维和安全人员快速处置入侵事件。
better_liang10 个月前
java·elk·elasticsearch·kibana·logstash·日志分析·企业级应用
每日Java面试场景题知识点之-ELK技术栈实战应用在现代Java企业级项目中,日志分析是系统监控和故障排查的重要环节。ELK技术栈(Elasticsearch、Logstash、Kibana)作为目前最流行的日志分析解决方案,在Java项目中得到了广泛应用。本文将深入探讨ELK技术栈在Java企业级项目中的实战应用,帮助开发者掌握这一重要技术。
better_liang10 个月前
java·elk·微服务·面试题·日志分析·企业级开发
每日Java面试场景题知识点之-ELK日志分析在一家大型电商平台的微服务架构中,系统包含订单服务、用户服务、支付服务、库存服务等20多个微服务实例,每个服务部署在多台服务器上。某天凌晨,用户支付功能出现异常,客服系统收到大量用户投诉无法正常付款。技术团队紧急排查时发现:
mooyuan天天10 个月前
cisp-pte·日志分析
CTF-PTE 日志分析3目录一、渗透准备1、打开靶场2、开始答题二、日志分析1、ultraedit打开文件2、正则表达式查找200响应报文
mooyuan天天10 个月前
网络安全·cisp-pte·日志分析
CISP-PTE 日志分析2目录一、渗透准备1、打开靶场2、开始答题二、日志分析1、ultraedit打开文件2、正则表达式查找200响应报文
mooyuan天天10 个月前
cisp-pte·日志分析·暴力破解
CISP-PTE 日志分析1目录一、渗透准备1、打开靶场2、开始答题3、分析日志(1)基于ip地址分析(2)基于响应值200分析二、暴力破解
ManageEngine卓豪1 年前
sql server·日志分析·数据库安全·sql server审计
SQL Server 审计指南:配置、使用与最佳实践本文全面整合 SQL Server 审计的核心概念、组件、配置步骤(SSMS 图形界面 + T-SQL)、权限管理、日志查看及最佳实践,为数据库运维、安全合规场景提供结构化操作手册。