Linux上如何抓取HTTPS流量

实际上生产环境中我们存在大量的业务请求都走的HTTPS，那么如何抓取调用下游的请求成了问题！如果是HTTP还行，你这HTTPS呢，能用tcpdump抓但是我们没有证书的私钥哇解不了。目前主流的HTTPS抓包工具都是通过代理的方式实现的，核心思想就是让你的机器信任代理工具的证书然后代理工具再去代理请求，实现起来其实也没多麻烦！所以这里我们就不造轮子了直接用开源的mitmproxy，如果你是本地抓包的话完全可以用Wireshark和 Charles 工具！

注意

如果你第一次操作建议自己起一个容器进行测试，别直接上来在自己机器上搞！可以安装个Debian/Ubuntu的镜像！

前置操作

安装 mitmproxy

pip install mitmproxy

启动 mitmproxy

直接执行 mitmproxy 即可

mitmproxy

下载安装证书

1. 配置http代理

export http_proxy=http://localhost:8080

2. 下载证书

 wget http://mitm.it/cert/pem -O mitmproxy-ca-cert.pem

3. 安装证书

# 1. 安装到系统的根证书中
mv mitmproxy-ca-cert.pem /usr/local/share/ca-certificates/mitmproxy.crt
# 2. 更新系统根证书
sudo update-ca-certificates

如何卸载证书，其实就是删除掉mitmproxy.crt, 然后sudo update-ca-certificates ！

抓取HTTPS流量

1. 配置HTTP代理

export http_proxy=http://localhost:8080
export https_proxy=http://localhost:8080

2. curl发起请求测试

curl https://www.douyin.com/

3. 查看数据包(他这个页面是一个交互式的页面，即可鼠标操作也可以键盘操作)

4. 查看数据包详情

广告

服务间调用的流量大部分都是RPC流量，Thrift/HTTP占据大部分，那么我能不能直接在机器上抓和解析thrift包呢？是的可以，我本人开发了一个工具可以读取tcpdump的输出，事实解析thrift/http报文，有兴趣的同学可以看一下 github.com/Anthony-Don... 这个，使用起来非常的简单，例如下面这个:

tcpdump -i eth0 'port 8888' -l -n -X | devtool tcpdump