php配合fiddler批量下载淘宝天猫商品数据分享

有个做电商的朋友问我,每次上款,需要手动去某宝去搬运商品图片视频,问我能不能帮忙写个脚本,朋友开口了,那就尝试一下

首先打开某宝,访问一款商品,找出他的数据来源

通过观察我们发现主图数据来这个接口输出

h5api.m.taobao.com/h5/mtop.taobao.pcdetail.data.get/1.0

同理,我们在去找到详情图的输出接口地址是

h5api.m.taobao.com/h5/mtop.taobao.detail.getdesc/7.0

既然数据找到了,那我们怎么将这些数据存储下来呢,这里就用到了我们的另一个工具fiddler,这款工具是一个抓包神器,我们还可以通过它将我们访问到的数据进行一个存储到本地的txt文件里面来,流程就是

打开软件之后,点击上方的菜单栏Rules->Customize Rules,然后会打开一个编辑器,这个时候我们找到OnBeforeResponse方法,在这里添加两段代码

复制代码
if (oSession.fullUrl.Contains("h5api.m.taobao.com/h5/mtop.taobao.pcdetail.data.get/1.0")) { 
            try{  
				var responseBytes = oSession.responseBodyBytes;
				var responseString = System.Text.Encoding.UTF8.GetString(responseBytes);
				var filePath = "G:/test/head.txt";
				System.IO.File.WriteAllText(filePath, responseString, System.Text.Encoding.UTF8); 
            }catch(err){
                var err;
            }
        }
		if (oSession.fullUrl.Contains("h5api.m.taobao.com/h5/mtop.taobao.detail.getdesc/7.0")) { 
			try{
				var responseBytes = oSession.responseBodyBytes;
				var responseString = System.Text.Encoding.UTF8.GetString(responseBytes);
				var filePath = "G:/test/desc.txt";
				System.IO.File.WriteAllText(filePath, responseString); 
			}catch(err){
				var err;
			}
		}

这样我们将抓包到的数据,写到了指定txt文件里面

数据都拿到了,将图片下载下来还不简单吗,这里我通过php,写个脚本,然后将数据解析出来,然后对需要的数据进行下载,这样所有功能就完成啦

PHP 脚本我放到资源下载里面感兴趣的去下载

地址:https://download.csdn.net/download/zhanglili1993/89447042

大致流程就是这样,先通过抓包,抓到数据,然后写到本地,最后在通过脚本批量下载,虽然不是很智能化,但是朋友对此效果满足了,同样的方法,某猫的数据也是这样操作,希望能对你有所帮助

相关推荐
一人の梅雨17 分钟前
1688 店铺商品全量采集与智能分析:从接口调用到供应链数据挖掘
开发语言·python·php
jackaroo202029 分钟前
后端_基于注解实现的请求限流
java
道可到33 分钟前
百度面试真题 Java 面试通关笔记 04 |JMM 与 Happens-Before并发正确性的基石(面试可复述版)
java·后端·面试
飞快的蜗牛1 小时前
利用linux系统自带的cron 定时备份数据库,不需要写代码了
java·docker
聪明的笨猪猪1 小时前
Java Spring “IOC + DI”面试清单(含超通俗生活案例与深度理解)
java·经验分享·笔记·面试
ThisIsMirror1 小时前
CompletableFuture并行任务超时处理模板
java·windows·python
珹洺2 小时前
Java-Spring入门指南(二十一)Thymeleaf 视图解析器
java·开发语言·spring
源码集结号2 小时前
一套智慧工地云平台源码,支持监管端、项目管理端,Java+Spring Cloud +UniApp +MySql技术开发
java·mysql·spring cloud·uni-app·源码·智慧工地·成品系统
EnCi Zheng2 小时前
Spring Security 最简配置完全指南-从入门到精通前后端分离安全配置
java·安全·spring
程序员小假2 小时前
为什么这些 SQL 语句逻辑相同,性能却差异巨大?
java·后端