Linux --HTTPS协议原理

为什么需要 HTTPS？

HTTP 的致命缺陷：明文传输

HTTP 协议的内容都是按照文本方式明文传输的。这意味着，从你的电脑到服务器之间，数据要经过无数个物理节点：

路由器
WiFi 热点
通信服务运营商
代理服务器
......

任何一个节点，只要有心，都能截获、查看、甚至篡改 你传输的内容。这就是所谓的中间人攻击（Man-in-the-Middle Attack，简称 MITM）。

1.2 臭名昭著的"运营商劫持"

一个非常经典的例子：

你想下载"天天动听"音乐播放器，点击下载按钮，正常应该弹出天天动听的下载链接。但如果你被运营商劫持了，弹出的却是 QQ 浏览器的下载链接。

原理是这样的：

你点击"下载按钮"，实际上是向服务器发送了一个 HTTP 请求。
服务器返回的 HTTP 响应里，包含了该 APP 的下载链接。
运营商的网络设备（路由器、交换机等）解析出你传输的数据内容，发现你要下载天天动听。
它自动把交给你的响应篡改成"QQ 浏览器"的下载地址。
你收到的是被篡改后的链接，还以为自己下载的是天天动听。

思考：运营商为什么要这么做？

推广自家产品（比如 QQ 浏览器）
赚取广告费
收集用户数据
甚至植入恶意软件

不止运营商，黑客也能劫持

运营商劫持还算"温柔"的。如果是黑客：

在你登录支付宝时，获取你的账户余额
甚至获取你的支付密码
篡改转账目标
窃取隐私信息

在互联网上，明文传输是非常危险的事情！

HTTPS 就是在 HTTP 的基础上引入了加密层，保证用户的信息安全。

加密解密基础概念

什么是加密和解密？

加密：把明文（要传输的信息）进行一系列变换，生成密文。
解密：把密文再进行一系列变换，还原成明文。
密钥：在加密和解密过程中，往往需要一个或多个中间数据辅助进行，这些数据称为密钥。

常见的加密方式

对称加密

定义：采用单钥密码系统的加密方法，同一个密钥可以同时用作信息的加密和解密。

特征：加密和解密所用的密钥是相同的。

常见算法：DES、3DES、AES、TDEA、Blowfish、RC2 等。

特点：

算法公开
计算量小
加密速度快
加密效率高

简单例子：按位异或

假设明文 a = 1234，密钥 key = 8888，则加密 a ^ key 得到的密文 b 为 9834。然后针对密文 9834 再次进行运算 b ^ key，得到的就是原来的明文 1234。

当然，按位异或只是最简单的对称加密，HTTPS 中并不是使用按位异或。

非对称加密

定义：需要两个密钥来进行加密和解密，这两个密钥是公开密钥（public key，简称公钥） 和私有密钥（private key，简称私钥）。

常见算法：RSA、DSA、ECDSA。

特点：

算法强度复杂
安全性依赖于算法与密钥
加密解密速度没有对称加密快

用法：

通过公钥对明文加密，变成密文；通过私钥对密文解密，变成明文。
也可以反着用：通过私钥对明文加密，变成密文；通过公钥对密文解密，变成明文。

生活例子：

A 要给 B 一些重要的文件，但是 B 可能不在。于是 A 和 B 提前做出约定：

B 说：我桌子上有个盒子，然后我给你一把锁，你把文件放盒子里用锁锁上，然后我回头拿着钥匙来开锁取文件。

在这个场景中：

这把锁就相当于公钥
钥匙就是私钥
公钥给谁都行（不怕泄露），但是私钥只有 B 自己持有
持有私钥的人才能解密

数据摘要与数据指纹

数字指纹（数据摘要） ：其基本原理是利用**单向散列函数（Hash 函数）**对信息进行运算，生成一串固定长度的数字摘要。

注意：数字指纹并不是一种加密机制，但可以用来判断数据有没有被篡改。

常见算法：MD5、SHA1、SHA256、SHA512 等。

特点：

算法把无限的映射成有限，因此可能会有碰撞（两个不同的信息，算出的摘要相同，但是概率非常低）
摘要严格意义不是加密，因为没有解密
只不过从摘要很难反推原信息，通常用来进行数据对比

MD5 的特点：

定长：无论多长的字符串，计算出来的 MD5 值都是固定长度（16 字节版本或者 32 字节版本）
分散：源字符串只要改变一点点，最终得到的 MD5 值都会差别很大
不可逆：通过源字符串生成 MD5 很容易，但是通过 MD5 还原成原串理论上是不可能的

数字签名

摘要经过加密，就得到数字签名。

数字签名是基于非对称加密算法的。注意，目前暂时和 HTTPS 没有关系，不要和 HTTPS 中的公钥私钥搞混了。

HTTPS 的工作过程探究

既然要保证数据安全，就需要进行"加密"。网络传输中不再直接传输明文了，而是加密之后的"密文"。

加密的方式有很多，但是整体可以分成两大类：对称加密 和非对称加密。

方案 1：只使用对称加密

如果通信双方都各自持有同一个密钥 X，且没有别人知道，这两方的通信安全当然是可以被保证的（除非密钥被破解）。

问题来了：

服务器同一时刻其实是给很多客户端提供服务的。这么多客户端，每个人用的秘钥都必须是不同的（如果是相同那密钥就太容易扩散了，黑客就能也拿到了）。因此服务器就需要维护每个客户端和每个密钥之间的关联关系，这也是个很麻烦的事情。

比较理想的做法：在客户端和服务器建立连接的时候，双方协商确定这次的密钥是啥。

但是：如果直接把密钥明文传输，那么黑客也就能获得密钥了！此时后续的加密操作就形同虚设了。

因此密钥的传输也必须加密传输！

但是要想对密钥进行对称加密，就仍然需要先协商确定一个"密钥的密钥"。这就成了"先有鸡还是先有蛋"的问题了。此时密钥的传输再用对称加密就行不通了。

方案 2：只使用非对称加密

鉴于非对称加密的机制，如果服务器先把公钥以明文方式传输给浏览器，之后浏览器向服务器传数据前都先用这个公钥加密好再传，从客户端到服务器信道似乎是安全的（有安全问题），因为只有服务器有相应的私钥能解开公钥加密的数据。

但是服务器到浏览器的这条路怎么保障安全？

如果服务器用它的私钥加密数据传输给浏览器，那么浏览器用公钥可以解密它，而这个公钥是一开始通过明文传输给浏览器的，若这个公钥被中间人劫持到了，那他也能用该公钥解密服务器传来的信息了。

方案 3：双方都使用非对称加密

服务端拥有公钥 S 与对应的私钥 S'，客户端拥有公钥 C 与对应的私钥 C'
客户和服务端交换公钥
客户端给服务端发信息：先用 S 对数据加密，再发送，只能由服务器解密，因为只有服务器有私钥 S'
服务端给客户端发信息：先用 C 对数据加密，再发送，只能由客户端解密，因为只有客户端有私钥 C'

这样貌似也行啊，但是：

效率太低
依旧有安全问题

方案 4：非对称加密 + 对称加密

先解决效率问题：

服务端具有非对称公钥 S 和私钥 S'
客户端发起 HTTPS 请求，获取服务端公钥 S
客户端在本地生成对称密钥 C，通过公钥 S 加密，发送给服务器
由于中间的网络设备没有私钥，即使截获了数据，也无法还原出内部的原文，也就无法获取到对称密钥（真的吗？）
服务器通过私钥 S' 解密，还原出客户端发送的对称密钥 C，并且使用这个对称密钥加密给客户端返回的响应数据

后续客户端和服务器的通信都只用对称加密即可。由于该密钥只有客户端和服务器两个主机知道，其他主机/设备不知道密钥，即使截获数据也没有意义。

由于对称加密的效率比非对称加密高很多，因此只是在开始阶段协商密钥的时候使用非对称加密，后续的传输仍然使用对称加密。

虽然上面已经比较接近答案了，但是依旧有安全问题。

方案 2、方案 3、方案 4 都存在一个问题：如果最开始，中间人就已经开始攻击了呢？

中间人攻击（MITM）

Man-in-the-Middle Attack，简称"MITM 攻击"

确实，在方案 2/3/4 中，客户端获取到公钥 S 之后，对客户端形成的对称秘钥 X 用服务端给客户端的公钥 S 进行加密，中间人即使窃取到了数据，此时中间人确实无法解出客户端形成的密钥 X，因为只有服务器有私钥 S'。

但是中间人的攻击，如果在最开始握手协商的时候就进行了，那就不一定了。

假设 hacker 已经成功成为中间人：

服务器具有非对称加密算法的公钥 S，私钥 S'
中间人具有非对称加密算法的公钥 M，私钥 M'
客户端向服务器发起请求，服务器明文传送公钥 S 给客户端
中间人劫持数据报文，提取公钥 S 并保存好，然后将被劫持报文中的公钥 S 替换成为自己的公钥 M，并将伪造报文发给客户端
客户端收到报文，提取公钥 M（自己当然不知道公钥被更换过了），自己形成对称秘钥 X，用公钥 M 加密 X，形成报文发送给服务器
中间人劫持后，直接用自己的私钥 M' 进行解密，得到通信秘钥 X，再用曾经保存的服务端公钥 S 加密后，将报文推送给服务器
服务器拿到报文，用自己的私钥 S' 解密，得到通信秘钥 X
双方开始采用 X 进行对称加密，进行通信。但是一切都在中间人的掌握中，劫持数据，进行窃听甚至修改，都是可以的

问题本质出在哪里了呢？

客户端无法确定收到的含有公钥的数据报文，就是目标服务器发送过来的！

引入证书：CA 认证

什么是 CA 认证？

服务端在使用 HTTPS 前，需要向 CA 机构 申领一份数字证书，数字证书里含有证书申请者信息、公钥信息等。服务器把证书传输给浏览器，浏览器从证书里获取公钥就行了。证书就如身份证，证明服务端公钥的权威性。

证书内容：

证书发布机构
证书有效期
公钥
证书所有者
签名

申请证书的流程

服务端生成公钥和私钥对（pub_svr & pri_svr）
确认申请信息（域名/申请者/公钥）
生成请求文件 CSR（不含有私钥信息）
向 CA 机构申请认证
CA 机构审核信息
CA 机构签发证书
服务端返回证书给客户端
客户端验证证书
密钥协商

注意：

申请证书的时候，需要在特定平台生成 CSR，会同时生成一对密钥对，即公钥和私钥。
这对密钥对就是用来在网络通信中进行明文加密以及数字签名的。
其中公钥会随着 CSR 文件，一起发给 CA 进行权威认证，私钥服务端自己保留，用来后续进行通信（其实主要就是用来交换对称秘钥）。

数字签名的形成

当服务端申请 CA 证书的时候，CA 机构会对该服务端进行审核，并专门为该网站形成数字签名，过程如下：

CA 机构拥有非对称加密的私钥 A 和公钥 A'
CA 机构对服务端申请的证书明文数据进行 hash，形成数据摘要
然后对数据摘要用 CA 私钥 A' 加密，得到数字签名 S

服务端申请的证书明文和数字签名 S共同组成了数字证书，这样一份数字证书就可以颁发给服务端了。

方案 5：非对称加密 + 对称加密 + 证书认证

在客户端和服务器刚一建立连接的时候，服务器给客户端返回一个证书，证书包含了之前服务端的公钥，也包含了网站的身份信息。

客户端进行认证：

当客户端获取到这个证书之后，会对证书进行校验（防止证书是伪造的）：

判定证书的有效期是否过期
判定证书的发布机构是否受信任（操作系统中已内置的受信任的证书发布机构）
验证证书是否被篡改：从系统中拿到该证书发布机构的公钥，对签名解密，得到一个 hash 值（称为数据摘要），设为 hash1。然后计算整个证书的 hash 值，设为 hash2。对比 hash1 和 hash2 是否相等。如果相等，则说明证书是没有被篡改过的。

中间人能否篡改证书？

中间人篡改了证书的明文：

由于他没有 CA 机构的私钥，所以无法 hash 之后用私钥加密形成签名，那么也就没办法对篡改后的证书形成匹配的签名
如果强行篡改，客户端收到该证书后会发现明文和签名解密后的值不一致，则说明证书已被篡改，证书不可信，从而终止向服务器传输信息，防止信息泄露给中间人

中间人整个掉包证书：

因为中间人没有 CA 私钥，所以无法制作假的证书（为什么？）
所以中间人只能向 CA 申请真证书，然后用自己申请的证书进行掉包
这个确实能做到证书的整体掉包，但是别忘记，证书说明文中包含了域名等服务端认证信息，如果整体掉包，客户端依旧能够识别出来
永远记住：中间人没有 CA 私钥，所以对任何证书都无法进行合法修改，包括自己的

为什么摘要内容在网络传输的时候一定要加密形成签名？

常见的摘要算法有：MD5 和 SHA 系列。

以 MD5 为例，我们不需要研究具体的计算签名的过程，只需要了解 MD5 的特点：

定长：无论多长的字符串，计算出来的 MD5 值都是固定长度
分散：源字符串只要改变一点点，最终得到的 MD5 值都会差别很大
不可逆：通过源字符串生成 MD5 很容易，但是通过 MD5 还原成原串理论上是不可能的

正因为 MD5 有这样的特性，我们可以认为如果两个字符串的 MD5 值相同，则认为这两个字符串相同。

理解判定证书篡改的过程：

假设我们的证书只是一个简单的字符串 hello，对这个字符串计算 hash 值（比如 md5），结果为 BC4B2A76B9719D91。

如果 hello 中有任意的字符被篡改了，比如变成了 hella，那么计算的 md5 值就会变化很大，变成 BDBD6F9CF51F2FD8。

然后我们可以把这个字符串 hello 和哈希值 BC4B2A76B9719D91 从服务器返回给客户端，此时客户端如何验证 hello 是否是被篡改过？

那么就只要计算 hello 的哈希值，看看是不是 BC4B2A76B9719D91 即可。

但是还有个问题：如果黑客把 hello 篡改了，同时也把哈希值重新计算下，客户端就分辨不出来了呀。

所以被传输的哈希值不能传输明文，需要传输密文。

所以，对证书明文（这里就是"hello"）hash 形成散列摘要，然后 CA 使用自己的私钥加密形成签名，将 hello 和加密的签名合起来形成 CA 证书，颁发给服务端。当客户端请求的时候，就发送给客户端，中间人截获了，因为没有 CA 私钥，就无法更改或者整体掉包，就能安全的证明，证书的合法性。

最后，客户端通过操作系统里已经存了的证书发布机构的公钥进行解密，还原出原始的哈希值，再进行校验。

为什么签名不直接加密，而是要先 hash 形成摘要？

缩小签名密文的长度，加快数字签名的验证签名的运算速度

完整流程总结

HTTPS 工作过程中涉及到的密钥有三组：

第一组（非对称加密）：用于校验证书是否被篡改

服务器持有私钥（私钥在形成 CSR 文件与申请证书时获得）
客户端持有公钥（操作系统包含了可信任的 CA 认证机构有哪些，同时持有对应的公钥）
服务器在客户端请求时，返回携带签名的证书
客户端通过这个公钥进行证书验证，保证证书的合法性，进一步保证证书中携带的服务端公钥权威性

第二组（非对称加密）：用于协商生成对称加密的密钥

客户端用收到的 CA 证书中的公钥（是可被信任的）给随机生成的对称加密的密钥加密，传输给服务器
服务器通过私钥解密获取到对称加密密钥

第三组（对称加密）：客户端和服务器后续传输的数据都通过这个对称密钥加密解密

其实一切的关键都是围绕这个对称加密的密钥。其他的机制都是辅助这个密钥工作的。

第二组非对称加密的密钥是为了让客户端把这个对称密钥传给服务器。
第一组非对称加密的密钥是为了让客户端拿到第二组非对称加密的公钥。

总结

HTTPS 通过在 HTTP 基础上引入加密层，解决了明文传输带来的安全问题。其核心机制是：

对称加密：用于实际数据传输，效率高。
非对称加密：用于协商对称密钥，解决密钥传输问题。
数字证书：用于验证服务器身份，防止中间人攻击。
数字签名：用于验证证书完整性，防止篡改。

三者结合，既保证了安全性，又兼顾了效率。