通过观测云敏感数据扫描能力保障数据安全合规

一、背景

随着《个人信息保护法》（PIPL）、《数据安全法》等法规的实施，企业对用户隐私数据的合规管理要求日益严格。在日常运维与开发过程中，系统日志、应用日志、API 请求/响应等数据中可能无意记录了大量个人身份信息（PII），如手机号、身份证号、邮箱地址、IP 地址等。这些信息若未被及时识别和脱敏，不仅存在泄露风险，还可能导致企业面临法律处罚和声誉损失。

传统依赖人工审查或静态规则过滤的方式，难以覆盖动态变化的数据格式和多样的日志来源，且效率低下、易遗漏。因此，亟需一种自动化、可扩展、高精度的敏感数据识别与治理方案。

二、观测云方案：基于敏感数据扫描能力实现数据的安全合规

观测云提供了一套端到端的敏感数据扫描与治理能力，帮助企业高效识别、分类并处理日志中的敏感信息，实现"规则配置---数据脱敏---审计合规"闭环管理。

核心能力

1、智能识别引擎 + 精准脱敏

脱敏时机

脱敏操作在数据写入存储引擎前完成，确保原始敏感信息不会落盘，从源头保障安全。

脱敏方式

备注：若选择 MD5 脱敏，原始敏感值将被替换为其 MD5 哈希值。观测云提供 md5() 查询函数，支持在搜索时对明文值进行哈希计算，从而匹配已脱敏的日志内容。参考说明： docs.guance.com/platform-ca...

脱敏流程

观测云支持对同一数据源配置多套脱敏规则，对敏感数据实现精准匹配，完成脱敏后进行入库操作。

2、内置 70+ 预定义规则库，开箱即用

内置超过 70 种预定义的敏感数据匹配模式，包含

网络和设备信息扫描
个人敏感信息扫描
海外信用卡扫描
密钥和凭证扫描等

详细查看： docs.guance.com/management/...

3、全数据覆盖

支持对所有接入的数据进行脱敏，常用如下：

日志（Logs）
分布式链路追踪（Traces）
指标（Metrics）
用户行为监控（RUM）
大模型监测数据（LLM）

确保需要被观测的任意类型数据都能按照规则经过数据脱敏。

4、自定义规则灵活扩展

企业可基于业务需求，自定义私有敏感字段（如会员ID、工号、订单号等），并通过可视化界面调试正则规则，快速上线。支持环视正则配置。

环视正则解释：利用正向/负向环视（lookaround）精准定位敏感字段上下文，避免误脱敏。

配置流程

1、接入数据源：通过观测云 DataKit 或 API 统一接入。（以下主要以日志接入为例）

支持主机/容器内文本文件日志数据接入
支持容器标准输出日志接入
支持UDP/Socket协议日志推送
支持API接口写入日志，如Log Streaming 协议

2、启用敏感数据扫描：在观测云控制台配置"敏感数据扫描"功能，选择需被扫描的数据类型，支持按照规则进行匹配。

3、配置脱敏策略：针对需要脱敏的数据，配置对应的配置规则，支持在平台页面上进行调试，如下图

三、场景示例：应用日志中的敏感数据治理

脱敏要求及预期效果

脱敏前（原始日志片段）

yaml 复制代码

2025-08-05 15:25:04,466 10.20.1.11 - header_log - WARNING - bankAccount: 6222029876543210987; cnId: 310115199001011234; cnphoneNo: 13900139000; 这是一条数据脱敏测试日志

脱敏要求：

IP 地址：使用内置规则，脱敏后四位字符；
手机号（cnphoneNo）：全字段 MD5 哈希，匹配规则：(?<=cnphoneNo:\s)\d+(?=;\s)；
身份证号（cnId）：保留前3位，其余替换为 *，匹配规则： (?<=cnId:\s\d{3})\d*0-9Xx；
银行卡号（bankAccount）：保留前4位和后4位，中间脱敏，匹配规则：(?<=bankAccount:\s\d{4})\d*(?=\d{4};\s)。

预期效果：

markdown 复制代码

2025-08-05 15:25:04,466 10.20.1.* - header_log - WARNING - bankAccount: 6222***********0987; cnId: 310***************; cnphoneNo: ffd07e1a0527aaeadd164d4a149a6506; 这是一条数据脱敏测试日志

观测云配置示例

1、ip地址脱敏后四位字符（内置规则库）

2、手机号，全字段 MD5 哈希，匹配规则：(?<=cnphoneNo:\s)\d+(?=;\s)

3、身份证号，展示前三位，其余脱敏，匹配规则： (?<=cnId:\s\d{3})\d*0-9Xx

4、银行卡号（bankAccount）：保留前4位和后4位，中间脱敏，匹配规则： (?<=bankAccount:\s\d{4})\d*(?=\d{4};\s)

实际在观测云展示效果

原始数据上报效果：

开启脱敏后数据效果：

可以看到数据都按照脱敏规则要求，执行了脱敏，符合脱敏预期。