数据采集与预处理
数据源是大数据分析的基础和前提，进行安全分析需要收集的数据源：
- 日志数据：设备与系统的日志和安全告警信息
- 流量数据：网络流量数据、包括netflow数据和全流量镜像数据
- 支持数据：资产信息、账号信息、漏洞信息、和威胁情报信息
对数据源收集的信息进行解析、标准化和丰富化处理，从而为数据分析提供高质量的
- 数据传输采集：根据不同类型的数据源，以及数据存在的状态，采用不同的传输与采集技术
- 数据预处理：对数据进行解析、补全、标准化操作，提高安全分析的可信度，降低误报率
多维度的数据分析
关联分析引擎对采集的实时数据流进行深度关联分析，包括安全告警、系统日志、资产、网络、漏洞等信息之间采用基于规则、基于统计、基于资产、基于情报等深度关联分析方法，综合分析进行安全威胁检测、预警。
数据的应用与展示
安全分析要素分为应用场景、分析方法和数据源，三者缺一不可。
1.安全分析有两种思路：
- 一种：可以从数据源头出发，收集全量数据，然后依据数据，挖掘分析场景，寻找分析技术
- 另一种：从应用层场景出发，按应用场景收集数据，寻找分析技术。
2.从安全数据的层面来讲，数据类别包括三类：
- 第一类是安全告警数据（IPS、WAF等） 高威胁低可信数据
- 第二类是内容数据（主机、流量等） 低威胁高可信数据
- 第三类是上下文数据（资产、威胁、漏洞） 辅助数据
3.数据的收集
- 告警类的数据是要全量收集，存储至少六个保证六个月。
这样做的原因：①满足安全合规要求②持续进行场景建模③方便攻击溯源与威胁猎捕
- 内容类数据大部分归网络或运维团队所有，需要从运维大数据中取
- 上下文数据权属比较复杂，有些可能属于运维团队（比如资产），有些属于安全团队（威胁情报、漏洞等），但这部分数据从安全分析来讲属于辅助数据，所以可以按安全分析的需要，以及安全运营的能力进行采集。
告警关联相关安全分析场景
安全告警关联分析可以分为四类：
- 同一攻击源/目的特定的告警数量叠加，可能遭受持续性攻击
- 内网主机发起安全攻击，可能主机已经失陷、横向攻击
- 不同网络位置的关联告警，可能已经绕过边界防护
- 告警/异常告警关联后判定为攻击成功
- 场景一：同一源地址多次发起同一类型的攻击
- 场景描述：通过同一类型安全攻击告警次数，判定源地址是否发起持续性安全攻击。
- 分析方法：特定时间内（如10分钟内），同一源地址发起特定攻击（如远程漏洞利用攻击）超过一定数量（如20次）。
- 数据源：IDS、IPS、NTA
- 解决方案：检查被攻击机器是否存在漏洞，确认安全攻击是否成功。
- 场景二：同一目的地址遭受多次同一类型的攻击
- 场景描述：通过同一类型安全攻击告警次数，判定目的地址是否遭受持续性安全攻击。
- 分析方法：特定时间内（如10分钟内），同一目的地址遭受特定攻击（如远程漏洞利用攻击）超过一定数量（如20次）。
- 数据源：IDS、IPS、NTA
- 解决方案：检查被攻击机器是否存在漏洞，确认安全攻击是否成功。
- 场景三：同一内网主机多次发起同一类型的攻击
- 场景描述：通过内网主机发起安全攻击告警次数，判定内网主机是否已经失陷。
- 分析方法：特定时间内（如10分钟内），同一源地址内网主机发起特定攻击（如远程漏洞利用攻击）超过一定数量（如20次）。
- 数据源：IDS、IPS、NTA
- 解决方案：检查源地址机器是否被控制，检查被攻击机器是否存在漏洞，确认安全攻击是否成功。
- 场景四：同一内网主机被攻击后发起网络扫描
- 场景描述：通过内网主机被攻击后发起网络扫描，判定内网主机是否已经失陷。
- 分析方法：特定时间内（如60分钟内），同一源地址内网主机被植入webshell后发起网络扫描。
- 数据源：FW、WAF
- 解决方案：屏蔽该地址对内部服务的访问、对发生告警主机进行webshell查杀。
- 场景五：web网页扫描后发起web攻击
- 场景描述：通过web网页扫描与web攻击告警，判定web应用正在遭受持续性攻击。
- 分析方法：特定时间内（如60分钟内），同一源地址发生web扫描告警后，发生web攻击告警。
- 数据源：IPS、IDS、WAF
- 解决方案：屏蔽该地址对内部服务的访问，确定该事件是否为恶意攻击行为。
- 场景六：绕过WAF防护发起web攻击
- 场景描述：通过绕过WAF防护发起web攻击告警，判定web攻击已经绕过WAF防御。
- 分析方法：发生WAF攻击告警（事件A）后特定时间内（如3分钟内），发生IDS攻击告警（事件B），事件源地址=事件B.源地址且事件A.目的地址=事件B.目的地址。
- 数据源：IDS、WAF
- 解决方案：屏蔽该地址对内部服务的访问，确定该事件是否为恶意攻击行为。
- 场景七：SQL攻击后的f发生的数据库提权
- 场景描述：通过SQL注入攻击后发生数据库提权告警，判定SQL注入攻击已经成功。
- 分析方法：web服务器发生SQL注入攻击告警后，特定时间内（如5分钟），发生数据库提权事件。
- 数据源：IPS、IDS、WAF
- 解决方案：屏蔽该地址对内部服务的访问，SQL注入攻击是否成功。
- 场景八：web后台登录异常后被注入webshell
- 场景描述：通过SQL注入攻击后发生数据库提权告警，判定SQL注入攻击已经成功。
- 分析方法：特定时间内（如10分钟），同一源地址对同一web服务后台登陆异常后，被植入webshell。
- 数据源：中间件日志、WAF
- 解决方案：屏蔽该地址对内部服务的访问，同时对发生告警主机进行webshell查杀。
威胁情报相关安全分析场景
从安全告警层面来讲，威胁情报数据可以赋能给检测设备，同时也可以作为Context数据辅助安全分析。从异常检测层面来讲，威胁情报可以结合网络连接等数据，通过关联分析发现特定行为异常与安全风险。从分析方法层面来讲，威胁情报本质上属于黑名单机制，用于检测时的效果很大程度上取决于情报数据的质量。
- 场景一：外部攻击告警命中威胁情报分析
- 场景描述：安全告警中外网攻击源IP命中高置信威胁情报数据，判定外网恶意IP发起安全攻击事件
- 分析方法：安全告警源IP地址匹配威胁情报恶意IP
- 数据源：安全告警（WAF、IPS、TDA等），TI
- 解决方案：对安全攻击源IP进行一定周期的封禁
- 场景二：内网主机与威胁情报黑IP\域名进行通信
- 场景描述：内网主机与威胁情报黑IP/域名进行请求链接或通信，判定内网主机已经中病毒或失陷
- 分析方法：内网主机地址行为匹配威胁情报黑IP/域名
- 数据源：网络连接或服务请求（FW、NTA、DNS请求等），TI
- 解决方案：检查发送邮件的账号，确认该账号是否已经被攻击者控制
- 场景三： 邮件服务器向威胁情报黑IP发送大量邮件
- 场景描述：邮件服务器向威胁情报黑IP发送邮件，判定发送邮件账号已经被攻击者控制
- 分析方法：特定时间内（如10分钟）邮件服务器地址与威胁情报黑IP网络连接数超过一定数量（如10次）
- 数据源：网络连接或服务请求（FW、NTA等），TI
- 解决方案：检查发送邮件的账号，确认该账号是否已经被攻击者控制
- 场景四：内网主机连接c&c服务器后进行文件/程序下载
- 场景描述：内网主机与威胁情报C&C服务器连接后下载文件/程序，判定内网主机已经被攻击者控制
- 分析方法：内网主机连接C&C服务器（请求域名或发起连接）后尝试下载可疑文件/程序
- 数据源：网络连接、服务请求、下载行为（NTA），TI
- 解决方案：对内网主机进行病毒/木马查杀，修复安全漏洞，入侵回溯分析
账号异常安全分析场景
网络设备、安全设备、操作系统、中间件、应用系统都具有账号，只要有账号就会涉及到异常账号（状态）与账号异常（行为）的安全监控与分析。从风险类型来说，账号异常涉及到内部违规、暴力破解、账号失陷以及程序错误等类型，在安全日常监控与态势感知中都起到非常大的作用。
- 场景一：绕过堡垒机违规登录服务器行为检测
- 场景描述：用户登陆系统的源IP不属于堡垒机IP范围，判定系统管理员违规登陆系统
- 分析方法：登陆服务器源IP地址与堡垒集IP地址不匹配
- 数据源：操作系统日志，堡垒机IP列表
- 解决方案：配置访问控制策略，仅允许从堡垒机登陆服务器
- 场景二：服务器发生安全攻击行为后创建新账号
- 场景描述：服务器被安全攻击告警后发生账号创建事件，判定服务器已经失陷被控制
- 分析方法：特定时间内（1天），发生服务器遭受安全攻击，同一目的IP发生账号创建事件
- 数据源：安全设备告警（IDS、IPS等），操作系统日志
- 解决方案：检查被攻击服务器是否被控制，确认账号创建是否异常
- 场景三：设备\系统\服务遭受暴力破解攻击行为分析
- 场景描述：设备/系统/应用发生大量账号登陆失败事件，判定设备/系统/应用正在遭受暴力破解攻击
- 分析方法：特定时间内（10分钟），同一设备/系统/应用发生大量（大于10次）登陆失败事件
- 数据源：设备/系统/应用登陆日志
- 解决方案：排查登陆失败事件属于安全攻击还是管理员行为
- 通用账号异常关联分析拓展场景
- 拓展场景1：多次发生账号登陆失败事件后，发生账号登陆成功事件，可能暴力破解成功。
- 拓展场景2：发生暴力破解成功（拓展场景1）后，发生创建新账号/修改权限/修改口令等行为事件，可能入侵后提权或进行破坏。
- 拓展场景3：发生暴力破解成功并新建账号（拓展场景2）后，发生删除账号行为事件，可能入侵结束后消除入侵痕迹。
- FTP账号异常关联分析拓展场景
- 拓展场景1：多次发生账号登陆失败事件后，发生账号登陆成功事件，可能暴力破解成功。
- 拓展场景2：发生暴力破解成功（拓展场景1）后，账号发生下载文件数据行为，入侵成功后窃取数据。
- 拓展场景3：发生暴力破解成功（拓展场景1）后，账号发生上传文件数据行为，入侵成功后篡改数据。
- 账号状态异常关联分析拓展场景
- 拓展场景1：特定时间内，同一账号在超过2个不同地点登陆，可能发生账号失陷行为。
- 拓展场景2：特定时间内，同一账号在超过2个不同设备登陆，可能发生账号串用行为。
- 拓展场景3：高价值账号（如VPN账号）在非可信地点（如境外地址）发生登陆行为，可能已经失陷。
网络异常相关安全分析场景
网络异常相关安全分析场景非常的多，归纳起来大致分为三类：1）网络端口扫描异常；2）安全攻击后网络连接异常；3）单一网络流量异常。
- 场景一：内网主机发起网络端口扫描
- 场景描述：通过内网主机发起网络端口扫描，判定内网主机被恶意控制或者感染病毒。
- 分析方法（1）：特定时间内（如5分钟内），同一内网主机对同一目的主机发起连接的目的端口超过一定数量（如超过50）。
- 分析方法（2）：特定时间内（如5分钟内），同一内网主机对特定网络连接（如icmp）目的主机超过一定数量（如超过50）。
- 数据源：FW、NTA
- 解决方案：确认主机是否被恶意攻击者控制，并及时进行病毒查杀，修复漏洞。
- 场景二：内网主机发起或遭受特定的网络端口扫描
- 场景描述：通过内网主机发起特定网络端口（如445、3389等）扫描，判定内网主机被恶意控制或者感染病毒。
- 分析方法（1）：特定时间内（如5分钟内），同一内网主机特定目的端口（如445、3389等）被连接超过一定数量（如超过50）。
- 分析方法（2）：特定时间内（如5分钟内），同一内网主机特定目的端口（如445、3389等）连接目的主机超过一定数量（如超过50）。
- 分析方法（3）：同一内网主机被大量特定目的端口（如445），短时间内（如5分钟内），向超过一定数量（如超过50）的其它主机发起大量特定目的端口（如445）扫描。
- 数据源：FW、NTA
- 解决方案：确认主机是否被恶意攻击者控制，并及时进行病毒查杀，修复漏洞。
- 场景三：服务器被植入webshell发起大量连接
- 场景描述：通过webshell与网络连接关联，判定特定主机被成功植入webshell。
- 分析方法：应用服务器发生webshell安全告警（事件A），特定时间（如30分钟）内，该主机发起大量网络连接事件（事件B）。A目的地址等于B源地址。
- 数据源：WAF，中间件日志/FW/NTA
- 解决方案：确认网络连接是否为恶意行为，屏蔽该主机对内部服务的访问、同时对发生告警主机进行webshell查杀。
- 服务器遭受web攻击后进行非法连接
- 场景描述：通过we攻击与网络连接关联，判定特定主机被攻击成功。
- 分析方法：服务器发生web攻击告警（事件A）后，特定时间内（如10分钟内），该服务器对外网发起网络连接（事件B）。事件目的地址=事件B.源地址and事件A.源地址=事件B.目的地址。
- 数据源：WAF/IPS/IDS，FW/NTA
- 解决方案：检查该主机服务器是否为恶意行为，屏蔽该地址对内部服务的访问，确认该服务器是否已经被攻击者控制。
- 内网主机服务器网络流量异常 /超出流量阈值
- 场景描述：通过对内网主机发送网络流量异常，判定内网主机被恶意控制或者感染病毒。
- 分析方法：特定时间内（如10分钟内），同一内网主机发送的网络流量总和超过网络流量阈值（如超过2G）。
- 数据源：FW、NTA
- 解决方案：确认主机是否被恶意攻击者控制，并及时进行病毒查杀，修复漏洞。