近年来，随着浏览器、移动系统、安全标准全面推进加密化，"HTTPS Everywhere" 已从理念变为现实。几乎所有 Web 流量、移动端 API、后台服务通信都默认启用 HTTPS，甚至进一步强化到 HSTS、证书链严格校验、TLS1.3、HTTP/2、HTTP/3（QUIC） 等机制。
加密全面普及是好事，但对于开发者而言，一个问题随之变得更加突出：
抓包越来越难了。尤其是在 iOS、移动 App、QUIC、Pinning 等环境下，很多 HTTPS 流量完全无法被传统代理工具解密。
本篇文章聚焦 HTTPS Everywhere 时代的抓包难题，通过工程实践分析 TLS 加密带来的抓包变化，并提供一套能覆盖现代网络场景的抓包方法。
一、HTTPS Everywhere 为什么让抓包变得更困难？
加密默认开启，抓包工具无法直接查看明文
无论是浏览器还是 App，大部分请求都强制通过 HTTPS。 加密后只能看到：
- 握手
- SNI
- 加密后的 Application Data
业务数据无法直接查看。
TLS 证书链严格校验
iOS/macOS/浏览器会校验证书链：
- 中间证书缺失
- 根证书不被信任
- 自签证书不被接受
都会导致代理抓包工具无法解密，表现为：
- Charles 只看到 CONNECT
- Fiddler 显示 Tunnel Established
- App 报 SSL 错误
App 普遍加入证书 Pinning
尤其金融、社交、政务类 App，Pinning 会让代理证书直接失效，导致：
浏览器能抓 ✘ App 完全抓不到
TLS1.3 协议增强加密字段
TLS1.3：
- 加密握手阶段更多字段
- 某些客户端禁用降级
导致传统"半透明解密"方法更难实现。
HTTP/3（QUIC）基于 UDP，不走代理
QUIC 天然绕过代理机制，因此：
- Charles / Proxyman 抓不到
- Wireshark 能看到 UDP
- App 业务依旧正常运行
HTTPS Everywhere 时代，QUIC 的普及让抓包难度再上一个台阶。
二、HTTPS Everywhere 时代的抓包方式必须"分层化"
为了应对增强加密体系，抓包工具必须按层次协同工作。
① 代理层：用于传统 HTTPS 解密（能分析业务明文）
工具：
- Charles
- Proxyman
- Fiddler
- mitmproxy
适用于：
- 常规 HTTPS
- Web 调试
- 修改请求与响应
不适用于：
- Pinning
- QUIC
- 自定义协议
② 协议层：分析 TLS、QUIC、TCP 原始数据
工具：
- Wireshark
- tcpdump
适用于：
- TLS 握手分析
- 检查证书链
- 查看 QUIC（UDP）是否存在
- 判断是否丢包
但不足之处是流量太多，不容易按应用区分。
③ 底层补抓层：解决"代理无法抓包"的关键
此层用于捕获真实的应用网络流量，不依赖代理。 在 HTTPS Everywhere 环境中，这是不可或缺的抓包方式。
典型需要此层的场景：
- TLS Pinning
- QUIC
- WebSocket
- 自定义 TCP 协议
- 代理被系统/VPN 覆盖
抓包大师（Sniffmaster）在 HTTPS Everywhere 抓包体系中的作用
Sniffmaster 能做什么？
- 捕获 HTTPS / TCP / UDP / HTTP 数据流
- 自动识别协议类型（HTTP、HTTPS、mdns 等）
- 按 App / 域名过滤，降低噪音
- 数据流多格式展示（明文、HEX、二进制）
- 导出 Wireshark 兼容 pcap 文件
- 支持 JavaScript 拦截器对请求/响应进行修改
- 适用于 macOS、Windows、iOS 场景
特别擅长用于：
- 代理抓不到 HTTPS（pinning）
- QUIC 抓包
- WebSocket 二进制数据
- 自定义协议无法被代理识别
- 需要底层流量与 TLS 握手对比分析
Sniffmaster 本质是一种"底层补抓工具"，用于处理 HTTPS Everywhere 环境中的极端抓包场景。
三、完整抓包流程：在 HTTPS Everywhere 下如何定位问题？
步骤 ①：尝试代理抓包（业务层）
能解密的场景：
- 开发环境 HTTPS
- 未开启 pinning
- 非 QUIC 流量
可以直接进行 API 调试。
步骤 ②：无法解密 → 检查证书链
检查：
- 证书是否被完全信任
- 是否有中间证书缺失
- 是否存在公司/网络注入的中间代理
步骤 ③：浏览器能抓 App 抓不到 → Pinning
此时代理层彻底失效。
步骤 ④：部分接口抓不到 → 很可能是 QUIC
验证方式：
- Wireshark 查看 UDP 443
- 使用 Sniffmaster 捕获 UDP 数据流
- 在 App 中关闭 QUIC 再对比
步骤 ⑤：代理完全没有流量 → 系统代理被覆盖
常见于：
- VPN
- MDM
- 零信任网络
步骤 ⑥：使用 Sniffmaster 进行底层补抓（关键步骤）
流程：
- 按 App/域名过滤流量
- 捕获 HTTPS/TCP/UDP 数据流
- 导出 pcap 用 Wireshark 分析 TLS/QUIC
- 定位失败点：
- pinning？
- QUIC？
- TLS 握手失败？
- 自定义协议？
这是 HTTPS Everywhere 环境下最可靠的抓包方法。
四、真实案例：HTTPS Everywhere 环境下部分接口无法抓包
表现：
- Charles 抓不到视频相关 HTTPS
- Safari 能抓文本接口
- Wireshark 出现大量 UDP 包
排查：
- 确认代理工具配置正常
- 确认证书链无误
- 使用 Sniffmaster 抓取 UDP 流量
- 导出 pcap → Wireshark 显示 QUIC 连接
- conclude：API 使用 HTTP/3，不走代理
通过底层数据流，准确定位 QUIC 为根因。
HTTPS Everywhere 时代，抓包可以分层组合
| 层级 | 工具 | 用途 |
|---|---|---|
| 代理层 | Charles / Proxyman / Fiddler | 常规 HTTPS 调试 |
| 协议层 | Wireshark / tcpdump | 分析 TLS、QUIC、TCP |
| 补抓层 | 抓包大师（Sniffmaster） | 捕获底层数据流、解决 pinning/QUIC |
HTTPS Everywhere 下，抓包不是单一软件能完成的任务，而是一个完整的分层体系。