web-traffic-generator:一款功能强大的HTTP和HTTPs流量混淆工具

关于web-traffic-generator

web-traffic-generator是一款功能强大的HTTP和HTTPs流量混淆工具,该工具基于纯Python开发,可以帮助广大研究人员在HTTP或HTTPs网络流量中提添加噪声,以此来实现流量混淆的目的。

本质上来说,web-traffic-generator是一个网络噪声生成工具,可以用于红队或蓝队的事件响应或网络防御任务中。web-traffic-generator已在Ubuntu 14.04 & 16.04平台上进行过测试,理论上该工具支持在任何安装了Python环境的操作系统上使用。

工具运行机制

首先,我们需要在脚本开头部分指定一些配置信息:

1、MAX_DEPTH = 10, MIN_DEPTH = 5:从每一个根URL(例如www.yahoo.com)开始,该工具会尝试访问MIN_DEPTH和MAX_DEPTH之间一个随机深度的节点地址;

每一个HTTP GET请求之间的时间间隔会根据下列变量进行随机选取:

1、MIN_WAIT = 5:请求间最少间隔5秒,这个时间太短的话可能会被目标Web服务器屏蔽;

2、MAX_WAIT = 10:请求间最多间隔10秒;

3、DEBUG = False:设置调试模式,设置为True则开启Verbose模式,工具会实时打印出详细的输出和调试信息;

4、ROOT_URLS = [url1,url2,url3]:根URL地址列表,工具会在其中随机选择;

5、blacklist = [".gif", "intent/tweet", "badlink", etc...]:针对每个链接需要检测的字符串黑名单,如果链接包含此列表中的任何字符串,则将丢弃该链接;

6、userAgent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3).......':设置传递给Web服务器的用户代理(无头浏览器),我们可以将其设置为默认值,或根据需要进行修改;

工具环境

当前版本的web-traffic-generator同时兼容Python 2.7和Python 3.x环境。

工具依赖

该工具的运行只需要使用到requests库,安装命令如下:

复制代码
sudo pip install requests

工具安装

广大研究人员可以直接使用下列命令将该项目源码克隆至本地:

复制代码
git clone https://github.com/ReconInfoSec/web-traffic-generator.git

工具使用

首先,我们需要创建一个配置文件:

复制代码
cp config.py.template config.py

然后直接运行web-traffic-generator即可:

复制代码
python gen.py

调试信息

如果将config.py配置文件中的Debug变量设置为True的话,我们将查看到如下所示的Verbose输出信息:

复制代码
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Traffic generator started

Diving between 3 and 10 links deep into 489 different root URLs,

Waiting between 5 and 10 seconds between requests.

This script will run indefinitely. Ctrl+C to stop.

Randomly selecting one of 489 URLs

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Recursively browsing [https://arstechnica.com] ~~~ [depth = 7]

  Requesting page...

  Page size: 77.6KB

  Data meter: 77.6KB

  Good requests: 1

  Bad reqeusts: 0

  Scraping page for links

  Found 171 valid links

  Pausing for 7 seconds...

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Recursively browsing [https://arstechnica.com/author/jon-brodkin/] ~~~ [depth = 6]

  Requesting page...

  Page size: 75.7KB

  Data meter: 153.3KB

  Good requests: 2

  Bad reqeusts: 0

  Scraping page for links

  Found 168 valid links

  Pausing for 9 seconds...

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Recursively browsing [https://arstechnica.com/information-technology/2020/01/directv-races-to-decommission-broken-boeing-satellite-before-it-explodes/] ~~~ [depth = 5]

  Requesting page...

  Page size: 43.8KB

  Data meter: 197.1KB

  Good requests: 3

  Bad reqeusts: 0

  Scraping page for links

  Found 32 valid links

  Pausing for 8 seconds...

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Recursively browsing [https://www.facebook.com/sharer.php?u=https%3A%2F%2Farstechnica.com%2F%3Fpost_type%3Dpost%26p%3D1647915] ~~~ [depth = 4]

  Requesting page...

  Page size: 64.2KB

  Data meter: 261.2KB

  Good requests: 4

  Bad reqeusts: 0

  Scraping page for links

  Found 0 valid links

  Stopping and blacklisting: no links

上述输出中的最后一个URL抛出了一个错误信息,因为我们将其添加到了config.blacklist黑名单数组中。

工具运行截图

工具使用演示

演示视频 :【点我观看

许可证协议

本项目的开发与发布遵循MIT开源许可证协议。

项目地址

web-traffic-generator :【GitHub传送门

相关推荐
艾小码11 小时前
还在拍脑袋估工时?3个技巧让你告别加班和延期!
前端·敏捷开发
UrbanJazzerati11 小时前
前端入门:vh、padding、margin、outline、pointer-events
前端·面试
oldking呐呐11 小时前
【CS144】【计网】第一周 check0
网络协议
wordbaby11 小时前
一行看懂高阶函数:用 handleConfirm 拿下 DatePicker 回调
前端·react.js
卿·静11 小时前
Node.js对接即梦AI实现“千军万马”视频
前端·javascript·人工智能·后端·node.js
Mintopia11 小时前
🚀 Next.js 全栈 Web Vitals 监测与 Lighthouse 分析
前端·javascript·全栈
Mintopia11 小时前
🤖 AIGC + CMS:内容管理系统智能化的核心技术支撑
前端·javascript·aigc
HelloGitHub11 小时前
这款开源调研系统越来越“懂事”了
前端·开源·github
whysqwhw12 小时前
hippy的主要原理
前端
子兮曰12 小时前
🚀95%的前端开发者都踩过坑:JavaScript循环全解析,从基础到高阶异步迭代
前端·javascript·性能优化