【Linux网络加餐】《HTTPS 协议原理》---详解

一.HTTPS 是什么

HTTPS 也是⼀个应用层协议. 是在 HTTP 协议的基础上引入了⼀个加密层.
HTTP 协议内容都是按照文本的方式明文传输的. 这就导致在传输过程中出现⼀些被篡改的情况.

TLS/SSL：可选的，一般负责加密和解密。

二.加密和解密

1.什么是加密和解密

加密就是把明文 (要传输的信息)进⾏⼀系列变换, 生成密文 .

解密就是把密⽂再进⾏⼀系列变换, 还原成明⽂ .

在这个加密和解密的过程中, 往往需要⼀个或者多个中间的数据, 辅助进⾏这个过程, 这样的数据称为密钥 (正确发音 yue 四声, 不过⼤家平时都读作 yao 四声) .

安全：破解的成本远远大于破解的收益。

例：现有原始数据 a 和密钥 key，我们可以通过异或运算完成加密：密文b = a ^ key。解密时，只需要拿密文再次和同一个密钥异或，就能还原原始数据：b ^ key = a ^ key ^ key。这里，a 是明文（原始数据），b 是密文，key 是密钥。

加密和解密相关的理论，如今已经发展为一门独立学科 ------ 密码学。

补充：图灵是密码学史上举足轻重的先驱，在二战中完成著名的恩尼格玛密码破译工作；但密码学并不是由图灵奠基。现代密码学有很多重要奠基人。计算机领域的最高奖项图灵奖，正是为了纪念艾伦・麦席森・图灵。

2.为什么要加密和解密

下载的时候大家可能遇到过这样的现象：明明点击下载 A 软件，最后拿到手的却是 B 软件。这就是经典的运营商劫持（HTTP 劫持）。

原因：HTTP 协议传输的数据都是明文。我们发出的数据包，在公网传输途中会经过运营商的路由器、交换机等网络设备。这些中间设备可以读取到 HTTP 请求与响应里的全部内容。我们点击下载按钮，本质是向服务器发起一条 HTTP 请求，服务器返回的响应报文里携带了 A 软件的真实下载地址。运营商的设备识别到这是软件下载请求后，直接篡改服务器返回的 HTTP 响应，把响应里的下载链接替换成 B 软件的地址，返回给浏览器。于是浏览器就会去下载 B 软件。

这也就是 HTTPS 诞生很重要的一个原因，TLS 加密之后，中间设备只能看到域名，看不到报文内容，无法随意篡改响应数据，防止这类劫持。

前面说过，因为 HTTP 的内容是明文传输的，明文数据会经过路由器、Wifi 热点、通信服务运营商、代理服务器等多个物理节点，如果信息在传输过程中被劫持，传输的内容就完全暴露了。劫持者还可以篡改传输的信息且不被双方察觉，这就是中间人攻击，所以才需要对信息进⾏加密。

不止运营商可以劫持，其他的黑客也可以用类似的手段进行劫持，以此来窃取用户的隐私信息或者篡改内容。如果黑客在用户登陆支付宝时获取到用户的账户余额，甚至获取到用户的支付密码等。在互联网上，明文传输是比较危险的事情。HTTPS 就是在 HTTP 的基础上进行了加密，进⼀步的来保证用户的信息安全。

3.常见的加密方式

A. 对称加密

采用单钥密码系统的加密方法，同⼀个密钥可以同时用作信息的加密和解密，这种加密⽅法称为对称加密，也称为单密钥加密。

**特征：**加密和解密所用的密钥是相同的。

常见对称加密算法（了解）：DES、3DES、AES、TDEA、Blowfish、RC2 等。

**特点：**算法公开、计算量小、加密速度快、加密效率高。

按位异或就是一个简单的对称加密。

假设明⽂ a = 1234，密钥 key = 8888，则加密 a ^ key 得到的密⽂ b 为 9834，然后针对密文 9834 再次进行运算 b ^ key，得到的就是原来的明文 1234。（对于字符串的对称加密也是同理，每⼀个字符都可以表示成⼀个数字）

当然，按位异或只是最简单的对称加密，不过 HTTPS 中并不是使用按位异或。

B.非对称加密

需要一对密钥完成加密、解密：公钥（public key） 、私钥（private key），二者成对匹配。

常见算法（了解）：RSA、DSA、ECDSA

特点：算法复杂度高，安全性强；加密解密速度远慢于对称加密

两种使用方式

公钥加密 ---> 私钥解密（保密传输，最常用）

公钥加密明文，得到密文

私钥解密密文，还原明文

私钥加密 ---> 公钥解密（签名验签，用来证明身份）

私钥加密明文，得到密文

公钥解密密文，还原明文
原理：它的底层依赖数论，数学逻辑复杂。

下面用生活化例子理解： A 想传给 B 机密文件，但 B 不在场。双方提前约定： B 准备一个盒子，把锁（公钥）交给 A，A 把文件放进盒子、用这把锁锁好；只有 B 手里有对应的钥匙（私钥），后续才能打开盒子取出文件。

公钥（锁）可以公开分发，不怕泄露；私钥（钥匙）必须自己保管，不能外传，只有持有私钥的人才能解密。

如何理解加密的安全性？

不存在不可被破解的加密，我们可以从算力成本角度来分析：比如我们加密的成本是 100 块，而解密的花费却要 100 亿，这种我们就可以称为是安全的。

4.数据摘要 && 数据指纹

假设有一篇很长的文本，我们可以通过哈希函数，把它转换成一串固定长度的字符串。哪怕原文只改动一个标点符号，最终得到的字符串也会完全改变。这串固定长度的结果就叫 Hash 摘要，这个处理过程就是数据摘要。

数字指纹（也就是数据摘要）：原理是使用单向散列函数（Hash 函数）对信息运算，生成一串固定长度的摘要。不同文本算出的摘要一般不相同。

重点：数字指纹不是加密机制，它的核心作用是校验数据是否被篡改。

常见摘要算法：MD5、SHA1、SHA256、SHA512 等。

哈希算法是把无限多的原始信息映射到有限范围的摘要，因此存在哈希碰撞（两份不同的数据，计算出一模一样的摘要），不过碰撞发生的概率极低。

摘要特点：它严格来说不属于加密，不存在解密过程，无法从摘要反向还原原始数据。常用来校验数据是否被篡改，典型场景：网盘秒传、数据库密码存储。

场景 1：网盘秒传

很多用户保存同一部电影，如果网盘重复存储多份文件，会浪费大量存储空间。网盘只保存一份文件以及它对应的 Hash 摘要。其他用户保存这个文件时，本地先算出文件摘要，和服务器里已有的摘要比对；如果匹配成功，直接给用户建立文件映射，不用重复上传、存储文件。

场景 2：数据库密码存储

网站不会直接保存用户原始密码，而是存储密码的哈希摘要。用户登录时，把输入的密码做哈希计算，再和数据库里存储的摘要对比。就算数据库被拖库泄露，攻击者拿到的也只是摘要，很难反推出原始密码。

补充:存在哈希碰撞，但概率极低，和人的指纹类似。

5.数字签名

可能摘要的信息也不想让别人看到，把对数据摘要 再加密，就得到 数字签名 。

三.HTTPS 的⼯作过程探究

既然要保证数据安全, 就需要进⾏ "加密"；⽹络传输中不再直接传输明⽂了, ⽽是加密之后的 "密⽂"；加密的⽅式有很多, 但是整体可以分成两⼤类: 对称加密和非对称加密

网络通信的过程中，需要解决以下两个问题：

数据被监听

数据被篡改

（1）方案一------ 只使用对称加密

对称加密，加密和解密用同一个秘钥。

如果通信双⽅都各⾃持有同⼀个密钥X，且没有别⼈知道，这两⽅的通信安全当然是可以被保证的（除非密钥被破解）

引⼊对称加密之后, 即使数据被截获, 由于⿊客不知道密钥是啥, 因此就⽆法进⾏解密, 也就不知道请求的真实内容是啥了.但事情没这么简单. 服务器同⼀时刻其实是给很多客⼾端提供服务的. 这么多客⼾端, 每个⼈⽤的秘钥都必须是不同的(如果是相同那密钥就太容易扩散了, ⿊客就也能拿到了). 因此服务器就需要维护每个客⼾端和每个密钥之间的关联关系, 这也是个很⿇烦的事情。

⽐较理想的做法, 就是能在客⼾端和服务器建⽴连接的时候, 双⽅协商确定这次的密钥是啥。

但是如果直接把密钥明⽂传输, 那么⿊客也就能获得密钥了。此时后续的加密操作就形同虚设了.

因此密钥的传输也必须加密传输!

但是要想对密钥进⾏对称加密, 就仍然需要先协商确定⼀个 "密钥的密钥".咱这个新加的密钥的密钥我们要怎么传呢，这就成了 "先有鸡还是先有蛋" 的问题了. 此时密钥的传输再⽤对称加密就⾏不通了.

（2）方案二 ------只使用非对称加密

非对称加密既可以使用公钥加密，也可以使用私钥加密。使用公钥加密必须使用私钥解密，使用私钥加密必须使用公钥解密。

根据这个图我们能看出来，这样就算中间人在通信过程中获取了公钥，但是没有私钥也无法进行解密，由此保证了从客户端发送给服务端数据的安全。

那么再看问题来了，客户端给服务器发送的消息是不安全的，因为使用公钥加密的密文发给客户端，客户端没有私钥，解不了密，那能否在响应时把私钥传过去？

不行，因为私钥一但暴露到公网中就可能被劫持，黑客拿到私钥原地破解密文。

在这个流程中鉴于非对称加密的机制，如果服务器先把公钥以明文方式传输给浏览器，之后浏览器向服务器传数据前都先用这个公钥加密好再传，从客户端到服务器信道似乎是安全的，因为只有服务器有相应的私钥能解开公钥加密的数据。

同时还有服务器到浏览器的这条路该如何保障安全呢？

如果服务器用它的私钥加密数据传给浏览器，那么浏览器用公钥可以解密它，而这个公钥是⼀开始通过明文传输给浏览器的，若这个公钥被中间人劫持到了，那他也能用该公钥解密服务器传来的信息了。

（3）方案三 ------ 双方都使用非对称加密

服务端拥有公钥 S 与对应的私钥 S'，客户端拥有公钥 C 与对应的私钥 C'。

客户和服务端交换公钥。

客户端给服务端发信息：先用 S 对数据加密再发送，只能由服务器解密，因为只有服务器有私钥 S'。

服务端给客户端发信息：先用 C 对数据加密再发送，只能由客户端解密，因为只有客户端有私钥 C'。

这样做看起来好像也行，但实则速度慢、效率低，其次是这样做也会有安全问题。

（4）方案四 ------ 非对称加密 + 对称加密

A. 解决效率问题

使用非对称加密让双方知道对称密钥，后续再使用对称加密的方式进行通信。

这样只有首次是使用非对称加密，后续所有的通信都采用对称加密。对称加密的速度快，大大提高了通信速度。

服务端具有非对称公钥 S 和私钥 S'。

客户端发起 HTTPS 请求，获取服务端公钥 S。

客户端在本地生成对称密钥 C，通过公钥 S 加密，发送给服务器。

由于中间的网络设备没有私钥，即使截获了数据也无法还原出内部的原文，也就无法获取到对称密钥。

服务器通过私钥 S' 解密还原出客户端发送的对称密钥 C，并且使用这个对称密钥加密给客户端返回的响应数据。

后续客户端和服务器的通信都只用对称加密即可，由于该密钥只有客户端和服务器两个主机知道，其他主机/设备不知道密钥，所以即使截获数据也没有意义。

由于对称加密的效率比非对称加密高很多，因此只是在开始阶段协商密钥的时候使用非对称加密，后续的传输仍然使用对称加密，但依旧有安全问题。

（5）中间人攻击方式

Man-in-the-MiddleAttack，简称 "MITM 攻击"。

在方案二、三、四中，客户端获取到公钥 S 之后，对客户端形成的对称秘钥 X 用服务端给客户端的公钥 S 进行加密，中间人即使窃取到了数据，但此时中间⼈确实无法解出客户端形成的密钥 X，因为只有服务器有私钥 S'。但是中间人的攻击如果在最开始握手协商的时候就进行了，那就不⼀定了，假设 hacker 已经成功成为中间人。

服务器具有非对称加密算法的公钥 S、私钥 S'。

中间人具有非对称加密算法的公钥 M、私钥 M'。

客户端向服务器发起请求，服务器明文传送公钥 S 给客户端。

中间⼈劫持数据报⽂，提取公钥 S 并保存好，然后将被劫持报文中的公钥 S 替换成为自己的公钥 M，并将伪造报文发给客户端。

客户端收到报文，提取公钥 M（自己不知道公钥被更换过了），自己形成对称秘钥 X，用公钥 M 加密 X，形成报文发送给服务器。

中间人劫持后，直接用自己的私钥 M' 进行解密，得到通信秘钥 X，再用曾经保存的服务端公钥 S 加密后将报⽂推送给服务器。

服务器拿到报文，用自己的私钥 S' 解密，得到通信秘钥 X。

双方开始采用 X 进行对称加密进行通信，但这⼀切都在中间人的掌握中，劫持数据、进行窃听甚至修改都是可以的。

上面的攻击方案同样适用于方案二、三。

只要已经交换了密钥，中间人就来迟了，但中间人如果在最开始的时候就可以进行篡改替换。中间人攻击能够成功，其本质是什么呢？

本质是中间人能够对数据做篡改且客户端无法确定收到的公钥是合法的，也无法确定其含有公钥的数据报文就是目标服务器发送过来的。

这样中间人也得到了 C，利用 C 先解密再加密后发送给服务端，那么即使修改了数据客户端和服务端也不知道中间人的存在。

该场景的本质问题是服务器在返回公钥的时候，被中间人截取并替换了公钥，并且客户端没有能力辨别公钥是否合法。所以需要客户端具有判别公钥是否合法的能力。

（6）数字证书

为了解决上面的问题，Client 需要对服务器的合法性进行认证。

A. CA 认证

简介：

https://baike.baidu.com/item/CA%E8%AE%A4%E8%AF%81/6471579?fr=aladdin

服务端在使⽤HTTPS前，需要向CA机构申领⼀份数字证书，数字证书⾥含有证书申请者信息、公钥信息等。服务器把证书传输给浏览器，浏览器从证书⾥获取公钥就⾏了，证书就如⾝份证，证明服务端公钥的权威性

这个证书可以理解成是⼀个结构化的字符串，只有证书是合法的时候才会进行非对称加密，里面包含了以下信息：

证书发布机构

证书有效期

公钥

证书所有者

签名

......

注意：申请证书时需要在特定平台生成查，会同时生成⼀对密钥对，即公钥和私钥。这对密钥对就是用来在网络通信中进行明文加密以及数字签名的。

其中公钥会随着 CSR 文件，⼀起发给 CA 进行权威认证，私钥服务端自己保留，用来后续进行通信（其实主要就是用来交换对称密钥）。

在线生成 CSR 和私钥：CSR在线生成工具

形成 CSR 后，后续就是向 CA 进行申请认证，不过⼀般认证过程很繁琐，网络各种提供证书申请的服务商，⼀般真的需要，直接找平台解决就行。

B. 数据签名

签名的形成是基于非对称加密算法的，数据签名的本质是防止被篡改。注意：目前暂时和 https 没有关系，不要和 https 中的公钥私钥搞混了。

a. 签名过程

假设现在我们有了数据（比如明文信息），我们把这个数据进行摘要形成数据摘要（数据指纹），然后把数据指纹用签名者（比如 CA 机构）的私钥进行加密形成了签名，然后再把明文信息和签名放在一起形成了数字签名的数据（比如证书）。

b. 验证过程

我们首先把数据签名的数据分成数据和签名，然后先对数据进行相同的摘要方式形成数据摘要，然后把用公钥加密过的签名用私钥解密，得到数据摘要，两者比对即可。散列值不一样说明有人篡改了签名或者数据，散列值一样就说明没有被篡改过。

c. CA 证书的申请和验证

当服务端申请 CA 证书时，CA 机构会对该服务端进行审核，并专门为该网站形成数字签名，过程如下：生成证书：

CA 机构拥有非对称加密的私钥 A 和公钥 A'。

CA 机构对服务端申请的证书明文数据进行 hash 摘要（公开的），形成数据摘要。

CA 机构用 CA 私钥 A' 加密数据摘要，得到数字签名 S。

CA 机构把明文数据和签名结合起来形成证书。

因为我们使用的是 CA 形成的数据签名，所以只有 CA 能形成可信任的证书，此时服务器会把证书响应给客户端，证书里面包含了公钥。

服务端申请的证书明文和数字签名 S 共同组成了数字证书，这样⼀份数字证书就可以颁发给服务端了。

验证证书合法性（公钥的合法性）：

先看有没有过期。

把数据签名和明文信息分开。

对明文信息进行 hash 摘要（公开的），形成数据摘要。然后用 CA 的公钥把数据签名解密，得到了数据摘要，这里的公钥是哪来的呢？（CA 会在所有的浏览器中内置自己的公钥）

把两个数据摘要进行对比，相等就说明内容没有被篡改，不相等说明被篡改了。

问题补充：

有没有可能原文和签名全部都被替换了呢？原文中的公钥确实能被修改，那么签名呢？

改不了，因为私钥只有 CA 有，用自己的私钥的话浏览器不认识。

中间人能不能直接把整个证书替换掉？

首先因为浏览器里面内置了 CA 的私钥，那么我们替换的证书必须是一个真正的证书，因为假证书没有办法解密。而证书里面的域名信息，域名是唯一的，不可能一样。所以做不到整体替换。

（7）方案五 ------ 非对称加密 + 对称加密 + 证书认证

在客户端和服务器刚建立连接时，服务器给客户端返回⼀个证书，证书包含了之前服务端的公钥，也包含了网站的身份信息，由此可以验证公钥的合法性。

所以非对称加密 + 对称加密保证了通信的安全，数字证书保证了通信之前交换密钥的安全。

A. 客户端进行认证：

当客户端获取到这个证书之后，会对证书进行校验（防止证书是伪造的）。

判定证书的有效期是否过期。

判定证书的发布机构是否受信任（操作系统中已内置的受信任的证书发布机构）。

验证证书是否被篡改：从系统中拿到该证书发布机构的公钥，对签名解密得到⼀个 hash 值（数据摘要），设为 hash1。然后计算整个证书的 hash 值设为 hash2，对比 hash1 和 hash2 是否相等。如果相等，则说明证书是没有被篡改过的。

B. 查看浏览器的受信任证书发布机构

Chrome 浏览器：

任意双击一个：

（8）常见问题

中间人有没有可能篡改该证书？

中间⼈篡改了证书的明文。

由于他没有 CA 机构的私钥，所以⽆法 hash 之后⽤私钥加密形成签名，那么也就没法办法对篡改后的证书形成匹配的签名。

如果强行篡改，客户端收到该证书后会发现明⽂和签名解密后的值不一致，则说明证书已被篡改，证书不可信，从而终止向服务器传输信息，防止信息泄露给中间人。

中间人整个掉包证书？

因为中间⼈没有 CA 私钥，所以无法制作假的证书。

所以中间⼈只能向 CA 申请真证书，然后用自己申请的证书进行掉包。

这个确实能做到证书的整体掉包，但是证书明文中包含了域名等服务端认证信息，如果整体掉包，客户端依旧能够识别出来。

记住：中间人没有 CA 私钥，所以对任何证书都无法进行合法修改，包括自己的。

为什么摘要内容在网络传输时一定要加密形成签名?

常见的摘要算法有：MD5 和 SHA 系列。

以 MD5 为例，我们不需要研究具体的计算签名的过程，只需要了解 MD5 的特点：

定长：无论多长的字符串，计算出来的 MD5 值都是固定长度（16 字节版本或者 32 字节版本）。

分散：源字符串只要改变⼀点点，最终得到的 MD5 值都会差别很大。

不可逆：通过源字符串⽣成 MD5 很容易，但是通过 MD5 还原成原串理论上是不可能的。

正因为 MD5 有这样的特性，我们可以认为如果两个字符串的 MD5 值相同，则认为这两个字符串相同。

理解判定证书篡改的过程（好比如判定这个⾝份证是不是伪造的身份证）：

假设我们的证书只是⼀个简单的字符串 hello，对这个字符串计算 hash 值（比如 md5），结果为 BC4B2A76B9719D91

如果 hello 中有任意的字符被篡改了，比如变成了 hella, 那么计算的 md5 值就会变化很大，BDBD6F9CF51F2FD8

然后我们可以把这个字符串 hello 和哈希值 BC4B2A76B9719D91 从服务器返回给客⼾端, 此时客户端如何验证 hello 是否是被篡改过？那么就只要计算 hello 的哈希值，看看是不是 BC4B2A76B9719D91 即可。

但还有个问题，如果黑客把 hello 篡改了，同时也把哈希值重新计算了一下，那么客户端就分辨不出来了。

所以被传输的哈希值不能传输明文，需要传输密文。所以，对证书明文（"hello"）hash 形成散列摘要，然后 CA 使用自己的私钥加密形成签名，将 hello 和加密的签名合起来形成 CA 证书颁发给服务端，当客户端请求时就发送给客户端，中间人截获了，因为没有 CA 私钥，就无法更改或者整体掉包，就能安全的证明证书的合法性。

最后，客户端通过操作系统⾥已经存的了的证书发布机构的公钥进行解密，还原出原始的哈希值，再进行校验。

为什么签名不是选择直接加密，而是要先 hash 形成摘要？

缩小签名密文的长度，加快数字签名的验证签名的运算速度。

如何成为中间人？（了解）

ARP 欺骗：在局域网中，hacker 经过收到 ARP Request 广播包，能够偷听到其它节点的（IP, MAC）地址。例如：黑客收到两个主机 A、B 的地址，告诉 B（受害者），自己是 A，使得 B 在发送给 A 的数据包都被黑客截取。

ICMP 攻击：由于 ICMP 协议中有重定向的报文类型，我们就可以伪造⼀个 ICMP 信息，然后发送给局域网中的客户端并伪装自己是⼀个更好的路由通路，从而导致目标所有的上网流量都会发送到我们指定的接口上，达到和 ARP 欺骗同样的效果。

假 Wifi && 假网站等。

（9）完整流程

左侧都是客户端做的事情，右侧都是服务器做的事情：

四.总结

HTTPS 整个工作过程中涉及的密钥有三组：

⼀组 (⾮对称加密): ⽤于校验证书是否被篡改。服务器持有私钥 (私钥在形成 CSR ⽂件与申请证书时获得), 客⼾端持有公钥 (操作系统包含了可信任的 CA 认证机构有哪些，同时持有对应的公钥). 服务器在客⼾端请求时，返回携带签名的证书。客⼾端通过这个公钥进⾏证书验证，保证证书的合法性，进⼀步保证证书中携带的服务端公钥权威性。

第⼆组 (⾮对称加密): ⽤于协商⽣成对称加密的密钥。客⼾端⽤收到的 CA 证书中的公钥 (是可被信任的) 给随机⽣成的对称加密的密钥加密，传输给服务器，服务器通过私钥解密获取到对称加密密钥.

第三组 (对称加密): 客⼾端和服务器后续传输的数据都通过这个对称密钥加密解密.

其实⼀切的关键都是围绕这个对称加密的密钥。其他的机制都是辅助这个密钥⼯作的.

第⼆组⾮对称加密的密钥是为了让客⼾端把这个对称密钥传给服务器. 第⼀组⾮对称加密的密钥是为了让客⼾端拿到第⼆组⾮对称加密的公钥。