python 爬虫工具 mitmproxy, 几问几答,记录一下

1. 起因, 目的:

  • 某次爬虫失败: 几个加密参数,费劲而且不划算。
  • 决定再次研究 爬虫工具 mitmproxy

2. 过程:

txt 复制代码
写个文章。

目的是记录今天的探索过程。

所以请力求精简,而且直达核心, 要求语言清晰易懂。

把核心问题, 即与 mitmproxy 相关的,写在前面

其他的,额外的知识点,可以写在后面,单独分开。

问题:mitmproxy 能做什么?

回答:

mitmproxy 是一个强大的中间人代理工具,能够拦截、修改、记录和分析 HTTP、HTTPS 流量。通过它,你可以:

  • 拦截和修改请求与响应:如修改请求体、请求头、响应内容等。
  • 自动化操作:通过脚本和插件,可以编写自定义功能来自动处理流量。
  • 流量分析:实时查看和分析 HTTP 请求,了解应用行为。
  • SSL/TLS 握手解密:支持中间人攻击模型,解密 HTTPS 流量以进行分析。

mitmproxy 支持 HTTP/1、HTTP/2 和 WebSocket,适合用于调试 Web 应用、测试 API、了解协议交互等。


问题:如何隐藏 mitmweb 控制台中的无用输出?

回答:

mitmweb 控制台默认会输出大量日志信息,若想隐藏这些信息,可以通过设置日志级别来过滤掉不需要的输出。使用命令行参数设置 console_eventlog_verbositywarnerror 可以减少输出的冗余内容:

bash 复制代码
mitmweb --set console_eventlog_verbosity=warn

这会隐藏信息级别以下的日志(例如连接日志等),只显示警告和错误信息。


问题:如何查看 mitmproxy 中的 request 和 response 内容?

回答:

在 mitmproxy 中,flow 对象代表了请求和响应的完整信息。可以通过脚本访问和修改 flow.requestflow.response 来处理它们:

python 复制代码
def request(flow):
    # 查看请求内容
    print(flow.request.url)
    print(flow.request.headers)

def response(flow):
    # 查看响应内容
    print(flow.response.content)

这可以让你捕获请求 URL、请求头、响应体等内容进行分析。


问题:如何在 mitmproxy 中使用过滤器?

回答:

mitmproxy 提供了过滤器功能,可以根据 URL、请求方法、响应状态码等条件来筛选流量。常用的过滤器语法包括:

  • ~u:匹配 URL
  • ~m:匹配请求方法(GET、POST 等)
  • ~s:匹配响应状态码
  • ~q:匹配请求体或参数
  • ~b:匹配请求或响应的 Body 内容

例如,筛选出所有 POST 请求:

bash 复制代码
~m POST

或者,筛选出 404 错误响应:

bash 复制代码
~s 404

这些过滤器可以帮助你快速定位到感兴趣的流量。


问题:mitmproxy 与 Clash 同时运行时会发生什么?

回答:

mitmproxy 默认使用 8080 端口,而 Clash 使用的是 7899 端口。如果两者同时启动,它们会争夺同一个网络端口,导致其中一个无法正常运行。

  • 解决方法: 确保只启动一个代理服务,或者将它们的端口进行调整,使其不发生冲突。

如果同时打开,当你发出请求时,流量会按照以下顺序走:

  1. 请求会首先被 Clash 代理转发。
  2. 然后,mitmproxy 会作为中间人进一步处理(如果它被配置为默认代理)。

这样流量会经过多个代理进行处理,可能会引发一些不必要的延迟或冲突。


额外的知识点


Innsbruck 和 Interlaken

  • Innsbruck 是奥地利的一个城市,位于阿尔卑斯山,是滑雪胜地。
  • Interlaken 是瑞士的一个旅游小镇,也以滑雪和登山闻名。

这两个城市不一样,虽然都位于阿尔卑斯山区。


Anatomy of an Addon

在 mitmproxy 中,插件(Addon)是通过 Python 脚本来实现的,通常涉及两个主要函数:request(flow)response(flow)flow 是请求和响应的容器,插件通过它来操作和处理流量。Anatomy of an Addon 就是指了解插件的构成和如何编写自定义功能。


Windows Activity 请求

你发现的请求是 Windows 系统的 Activity Feed 功能,它会将用户的活动记录(如打开的应用、浏览的网页)上传到微软服务器。这是微软的一个同步和增强体验的功能。如果你不希望上传这些数据,可以通过设置或组策略关闭该功能。


通过这些整理,希望你对 mitmproxy 有了更清晰的理解,并且能够在实际使用中更加得心应手。如果你有更多问题或需要进一步探讨,随时向我提问!


希望对大家有帮助。

相关推荐
liulilittle11 分钟前
深度剖析:OPENPPP2 libtcpip 实现原理与架构设计
开发语言·网络·c++·tcp/ip·智能路由器·tcp·通信
88号技师17 分钟前
2025年6月一区-田忌赛马优化算法Tianji’s horse racing optimization-附Matlab免费代码
开发语言·算法·matlab·优化算法
Tipriest_18 分钟前
Python关键字梳理
python·关键字·keyword
勤奋的知更鸟23 分钟前
Java 编程之模板方法模式
java·开发语言·模板方法模式
上单带刀不带妹1 小时前
手写 Vue 中虚拟 DOM 到真实 DOM 的完整过程
开发语言·前端·javascript·vue.js·前端框架
im_AMBER2 小时前
学习日志05 python
python·学习
大虫小呓2 小时前
Python 处理 Excel 数据 pandas 和 openpyxl 哪家强?
python·pandas
哪 吒2 小时前
2025B卷 - 华为OD机试七日集训第5期 - 按算法分类,由易到难,循序渐进,玩转OD(Python/JS/C/C++)
python·算法·华为od·华为od机试·2025b卷
-凌凌漆-2 小时前
【Qt】QStringLiteral 介绍
开发语言·qt
程序员爱钓鱼2 小时前
Go语言项目工程化 — 常见开发工具与 CI/CD 支持
开发语言·后端·golang·gin