内容安全笔记

第八天

IAE引擎

DFI和DPI技术 --- 深度检测技术

DPI --- 深度包检测技术 --- 主要针对完整的数据包（数据包分片，分段需要重组），之后对数据包的内容进行识别。（应用层）

1，基于"特征字"的检测技术

最常用的识别手段，基于一些协议的字段来识别特征。

2，基于应用网关的检测技术

有些应用控制和数据传输是分离的，比如一些视频流。一开始需要TCP建立连接，协商参数，这一部分我们称为信令部分。之后，正式传输数据后，可能就通过UDP协议来传输，流量缺失可以识别的特征。所以，该技术就是基于前面信令部分的信息进行识别和控制。

3，基于行为模式的检测技术

比如我们需要拦截一些垃圾邮件，但是，从特征字中很难区分垃圾邮件和正常邮件，所以，我们可以基于行为来进行判断。比如，垃圾邮件可能存在高频，群发等特性，如果出现，我们可以将其认定为垃圾邮件，进行拦截，对IP 进行封锁。

DFI --- 深度流检测技术 --- 一种基于流量行为的应用识别技术。这种方法比较适合判断P2P流量。

结论：

1，DFI仅对流量进行分析，所以，只能对应用类型进行笼统的分类，无法识别出具体的应用；DPI进行检测会更加精细和精准；

2，如果数据包进行加密传输，则采用DPI方式将不能识别具体的应用，除非有解密手段；但是，加密并不会影响数据流本身的特征，所以，DFI的方式不受影响。

入侵防御（IPS）

IDS --- 侧重于风险管理的设备

IPS --- 侧重于风险控制的设备

IPS的优势：

1，实时的阻断攻击； 2，深层防护 --- 深入到应用层； 3，全方位的防护 --- IPS可以针对各种常见威胁做出及时的防御，提供全方位的防护； 4，内外兼防 --- 只要是通过设备的流量均可以进行检测，可以防止发自于内部的攻击。 5，不断升级，精准防护

入侵检测的方法：

异常检测误用检测

异常检测：

异常检测基于一个假定，即用户行为是可以预测的，遵循一致性模式的；

误用检测

误用检测其实就是创建了一个异常行为的特征库。我们将一些入侵行为记录下来，总结成为特征，之后，检测流量和特征库进行对比，来发现威胁。

总结：

1，在进行IPS模块检测之前，首先需要重组IP分片报文和TCP数据流； --- 增加检测的精准性

2，在此之后需要进行应用协议的识别。这样做主要为了针对特定的应用进行对应精细的解码，并深入报文提取特征。

3，最后，解析报文特征和签名（特征库里的特征）进行匹配。再根据命中与否做出对应预设的处理方案。注：签名 --- 针对网络上的入侵行为特征的描述，将这些特征通过HASH后和我们报文进行比对。

签名

预定义签名 --- 设备上自带的特征库，这个需要我们激活对应的License（许可证）后才能获取。 --- 这个预定义签名库激活后，设备可以通过连接华为的安全中心进行升级。

自定义签名 --- 自己定义威胁特征。

自定义签名和预定义签名可以执行的动作

告警 --- 对命中签名的报文进行放行，但是会记录再日志中

阻断 --- 对命中签名的报文进行拦截，并记录日志

放行 --- 对命中签名的报文放行，不记录日志

ID --- 签名的标识

对象 --- 服务端，客户端，服务端和客户端

服务端和客户端指的都是身份，一般将发起连接的一端称为客户端，接受连接提供服务的称为服务端。

严重性：高，中，低，提示--- 用来标识该入侵行为的威胁程度

协议，应用程序 --- 指攻击报文所使用的协议或应用类型

检测范围

报文 --- 逐包匹配

消息 --- 指基于完整的消息检测，如在TCP交互中，一个完整的请求或应答为一个消息。一个消息可能包含多个报文，一个报文也可能包含多个消息。

流 --- 基于数据流。

如果勾选该选项，则下面的"检查项列表"里面的规则将按自上而下，逐一匹配。如果匹配到了，则不再向下匹配；如果不勾选，则下面所有规则为"且"的关系。

匹配 --- 在对应字段中，包含和后面"值"中内容相同的内容，则匹配成功

前缀匹配 --- 在对应字段中，包含和后面"值"中内容相同的内容开头的内容，则匹配成功

入侵防御策略的配置

这里主要是进行签名的筛选，筛选出来的签名和流量进行比对。默认是全选，全选固然安全，但是，对设备性能能消耗巨大，不建议。

签名过滤器可以配置多个，匹配逻辑自上而下，注意匹配。如果命中多个签名，则如果动作都是告警，则进行告警，如果一个是阻断，则执行阻断。

如果需要对个别签名进行特殊处理，则可以写在例外签名中，单独执行动作。多了阻断IP的动作，含义是可以将对应IP地址添加到黑名单中。

后面的超时时间是加入黑名单的时间。超过超时时间，则将释放该地址。

第九天

防病毒（AV）

传统的AV防病毒的方式是对文件进行查杀。

传统的防病毒的方式是通过将文件缓存之后，再进行特征库的比对，完成检测。但是，因为需要缓存文件，则将占用设备资源并且，造成转发延迟，一些大文件可能无法缓存，所以，直接放过可能造成安全风险。

代理扫描 --- 文件需要全部缓存 --- 可以完成更多的如解压，脱壳之类的高级操作，并且，检测率高，但是，效率较低，占用资源较大。

流扫描 --- 基于文件片段进行扫描 --- 效率较高，但是这种方法检测率有限。

病毒分类

病毒杀链

C&C服务器 --- 命令控制服务器

防病毒处理流量

1，进行应用和协议的识别

2，判断这个协议是否支持防病毒的检测，如果不是支持的防病毒协议，则文件将直接通过。

3，之后，需要进行白名单的比对。如果命中白名单，则将不进行防病毒检测，可以同时进行其他模块的检测。

4，如果没有命中白名单，则将进行特征库的比对。如果比对上了，则需要进行后续处理。如果没有比对上，则可以直接放行。这个病毒库也是可以实时对接安全中心进行升级，但是，需要提前购买License进行激活。

5，如果需要进行后续处理，首先进行"病毒例外"的检测。 --- 这个病毒例外，相当于是病毒的一个白名单，如果是添加在病毒例外当中的病毒，比对上之后，将直接放通。 ---- 过渡防护

6，之后，进行应用例外的比对。 --- 类似于IPS模块中的例外签名。针对例外的应用执行和整体配置不同的动作。

7，如果没有匹配上前面两种例外，则将执行整体配置的动作。

宣告：仅针对邮件文件生效。仅支持SMTP和POP3协议。对于携带病毒的附件，设备允许文件通过，但是，会在邮件正文中添加病毒的提示，并生成日志。

删除附件：仅针对邮件文件生效，仅支持SMTP和POP3协议。对于携带病毒的附件，设备会删除掉邮件的附件，同时会在邮件正文中添加病毒的提示，并生成日志。

防病毒的配置

需求：假设内网用户需要通过外网的web服务器和pop3邮件服务器下载文件和邮件，内网的FTP服务器也需要接受外网用户上传的文件。针对该场景进行防病毒的防护。

URL过滤

URL ---- 资源定位符

静态网页

动态网页 --- 需要于数据库进行结合

URI --- 统一资源标识符

URL过滤的方法

黑白名单 --- 如果匹配白名单，则允许该URL请求；如果匹配黑名单，则将拒绝URL请求。

白名单的优先级高于黑名单。

预定义的URL分类

本地缓存查询

远程分类服务查询 --- 如果进行了远程的查询，则会将查询结果记录在本地的缓存中，方便后续的查询。 --- 需要购买license才能被激活。

自定义的URL分类 --- 自定义的优先级高于预定义的优先级的

如果远程分类服务查询也没有对应分类，则将其归类为"其他"，则按照其他的处理逻辑执行

URL的识别方式

http

HTTPS

第一种：配置SSL解密功能

这种方法需要提前配置SSL的解密策略，因为需要防火墙在中间充当中间人，所以，性能消耗较大，效率较低。

第二种方法：加密流量进行过滤

Server_name --- 域名信息

HTTP.request --- URL信息（HOST --- 域名信息，URI）

这种方法比较简单，性能更高，但是，这种信息仅能过滤到域名级别，不够精确。

URL过滤的配置

需求：我们需要针对办公区用户进行上网行为管理，要求进行URL过滤，要求在上班时间仅能访问教育/科研类，搜索/门户类网站，以及一个www.example.com/working相关URL都可以访问。其余都不允许访问。

自定义URL分类

缺省动作 --- 指的是，所有的URL分类都匹配不上的URL，则执行该项设定的动作。

这里启用后，相当于开启了 --- 1，URL信誉功能，2，恶意URL检测

URL信誉 --- 信誉用来描述网站可信度。 ---- 开启之后，我们会针对信誉低的站地进行检测，信誉高的站点，可以不用取出流量中的文件进行威胁检测。

信誉值的查询 --- 两种方法：

1，URL信誉热点库 --- 开通License之后，我们可以对接远端服务器，将信誉热点库加载到预定义的URL分类中。

2，远程查询服务器恶意URL检测 --- URL过滤将会针对恶意的URL进行阻断。这些信息来自于多方面，包括信誉值，反病毒功能的反馈。

严格 --- 如果一个URL属于多个分类，则严格模式下，最终动作将执行所有命中分类中最严格的。松散 --- 松散则是执行所有命中分类中动作最宽松的。

设备需要和安全中心建立联系，所以，需要保证放通以下服务：

TCP 80 --- 于安全中心平台进行交互

TCP 12612 --- 于调度服务器交互

UDP 12600 --- 于查询服务器进行交互

DNS过滤

第十天

内容过滤技术

文件过滤技术

这里说的文件过滤技术，是指针对文件的类型进行的过滤，而不是文件的内容。

想要实现这个效果，我们的设备必须识别出：

承载文件的应用 --- 承载文件的协议很多，所以需要先识别出协议以及应用。

文件传输的方向 --- 上传，下载

文件的类型和拓展名 --- 设备可以识别出文件的真实类型，但是，如果文件的真实类型无法识别，则将基于后缀的拓展名来进行判断，主要为了减少一些绕过检测的伪装行为。

压缩

文件过滤技术的处理流程

文件过滤的位置是在AV扫描之前，主要是可以提前过滤掉部分文件，减少AV扫描的工作量，提高工作效率。

内容过滤技术

文件内容的过滤 --- 比如我们上传下载的文件中，包含某些关键字（可以进行精准的匹配，也可以通过正则表达式去实现范围的匹配。）

应用内容的过滤 --- 比如微博或者抖音提交帖子的时候，包括我们搜索某些内容的时候，其事只都是通过HTTP之类的协议中规定的动作来实现的，包括邮件附件名称，FTP 传递的文件名称，这些都属于应用内容的过滤。

注意：对于一些加密的应用，比如我们HTTPS协议，则在进行内容识别的时候，需要配置 SSL代理（中间人解密）才可以识别内容。但是，如果对于一些本身就加密了的文件，则无法进行内容识别。

内容识别的动作包括：告警，阻断，按权重操作：我们可以给每一个关键字设计一个权重值，如果检测到多个关键字的权重值超过预设值，则执行告警或者阻断的动作。

邮件过滤技术

SMTP --- 简单邮件传输协议，TCP 25，他主要定义了邮件该如何发送到邮件服务器中。

POP3 --- 邮局协议，TCP 110，他定义了邮件该如何从邮件服务器（邮局）中下载下来。

IMAP --- TCP 143，也是定义了邮件该如何从邮件服务器中获取邮件。

（使用POP3则客户端会将邮件服务器中未读的邮件都下载到本地，之后进行操作。邮件服务器上会将这些邮件删除掉。如果是IMAP，用户可以直接对服务器上的邮件进行操作。而不需要将邮件下载到本地进行操作。）

邮件过滤技术

主要是用来过滤垃圾邮件的。---所谓垃圾邮件，就是收件人事先没有提出要求或者同意接受的广告，电子刊物，各种形式的宣传的邮件。包括，一些携带病毒，木马的钓鱼邮件，也属于垃圾邮件。

统计法 --- 基于行为的深度检测技术

贝叶斯算法 --- 一种基于预测的过滤手段

基于带宽的统计 --- 统计单位时间内，某一个固定IP地址试图建立的连接数，限制单位时间内单个IP地址发送邮件的数量。

基于信誉评分 --- 一个邮件服务器如果发送垃圾邮件，则将降低信誉分，如果信誉比较差，则将其发出的邮件判定为垃圾邮件。

列表法 --- 黑，白名单 RBL（Real-time Blackhole List） --- 实时黑名单 --- RBL服务器所提供，这里面的内容会实时根据检测的结果进行更新。我们设备在接收到邮件时，可以找RBL服务器进行查询，如果发现垃圾邮件，则将进行告知。 --- 这种方法可能存在误报的情况，所以，谨慎选择丢弃动作。

源头法

SPF技术 --- 这是一种检测伪造邮件的技术。可以反向查询邮件的域名和IP地址是否对应。如果对应不上，则将判定为伪造邮件。

意图分析通过分析邮件的目的特点，来进行过滤，称为意图分析。（结合内容过滤来进行）