数据采集方法

数据采集过程是数据流入数据中台的关键步骤,主要通过认证鉴权、关键数据源管控、采集数据传输安全、临时数据限制、日志记录和告警等多种措施来保障采安全性。需要考虑如下安全性:

1、认证鉴权

数据采集时需要根据采集方法的不同进行不同方式认证鉴权。限制采集系统的IP地址,端口号等,确保合规的IP和端口进行数据采集工作。

2、关键数据源管控

数据源集中管理和配置FTP主机、数据库(MySQL、Oracle等)、HDFS集群、Vertica、Hive、任意节点的参数信息。对于关键数据源的参数信息要进行安全管控。对管理员角色用户授予数据源管理的权限,包括新增配置、编辑、删除、测试连接等操作。对非管理员角色用户至多授予查看数据源的权限,数据源的连接串、账号、密码等关键参数信息对其保密。管理员角色的用户自身的账号密码只对指定人员开放。

3、采集数据传输安全

  1. 数据采集时对传输通道进行加密,采用可靠的传输方式,如VPN专线等。
  2. 对敏感性数据本身用安全的加密算法加密,如AES算法,确保数据的机密性。
  3. 采用完整性校验算法,如HMAC、MD5、SHA算法,确保数据的完整性和可用性。

4、临时数据限制

  1. 在数据采集过程中,需要严格限制采集过程中临时数据存储区域,不得任意修改存储区。
  2. 数据源和采集系统之间通过FTP接口机传输文件,对于FTP接口机上的数据,系统支持从指定目录采集。
  3. 数据处理过程中产生的临时文件,在处理结束后全部删除。

5、日志采集及异常告警

对采集行为进行日志记录,记录的日志内容包括采集行为详细的操作日志和执行日志,并对如下异常采集行为及时告警:

  1. 对重复采集和传输量超过设定阀值的情况给予告警。
  2. 对采集传送过程中传输中断的情况给予告警。
  3. 采集传送过程中对目标文件库的存储量超过设定阀值的情况给予告警或停止采集。

(结束)

相关推荐
No Big Deal7 小时前
ctfshow-_Web应用安全与防护-Base64多层嵌套解码
安全
Oxo Security7 小时前
【AI安全】检索增强生成(RAG)
人工智能·安全·网络安全·ai
2301_795167208 小时前
玩转Rust高级应用 如何让让运算符支持自定义类型,通过运算符重载的方式是针对自定义类型吗?
开发语言·后端·算法·安全·rust
数据库安全10 小时前
世界互联网大会|美创科技无侵入数据安全多智体治理技术首发
大数据·人工智能·科技·数据安全
合作小小程序员小小店11 小时前
web安全开发,在线%服务器日志入侵检测%系统安全开发,基于Python,flaskWeb,正则表达式检测,mysql数据库
服务器·python·安全·web安全·flask·安全威胁分析·安全架构
Fanmeang13 小时前
华为防火墙基础功能详解:构建网络安全的基石
运维·网络·安全·华为·防火墙·策略·安全域
数字供应链安全产品选型13 小时前
公示 | 悬镜安全通过首批《信息技术 软件物料清单数据格式规范》行业标准符合性试点验证
安全
AWS官方合作商13 小时前
AWS Lambda的安全之道:S3静态加密与运行时完整性检查的双重保障
安全·云计算·aws
MarkHD13 小时前
蓝牙钥匙 第69次 蓝牙钥匙安全与便捷性平衡:从理论到实践的全方位解析
网络·人工智能·安全
还是奇怪14 小时前
隐藏在字符编码中的陷阱:深入剖析宽字节注入
数据库·sql·安全·web安全