爬虫,可以说是程序员最基础的热手项目。
之前我也一直说阿里系的签名系统搞得太复杂,风控太高,很不利于正常的自动化工具开发,这对于需要阿里应用的客户来说,也是一个很难覆盖的成本支出不是。
当然,我做项目,尤其是爬虫项目也是有原则的,不做暴力抓取是首要的;不做与正常客户竞争的工具,尤其是需要竞争的功能,不做开发。
公开数据抓取,正常的数据分析,爬虫的存在也是非常有必要的。
闲鱼开放网页版是对闲鱼真实用户的需求一次提升。
最近一个比较大的消息就是闲鱼开放了网页版。
多少年了,对于经常使用闲鱼的用户来说,闲鱼没了网页版,数据获取真的非常的不适,尤其是需要做商品对比的时候,在手机上反复查看,真的很不方便。想象一下,一个用户,当他选择不买新的,用二手代替的时候,货比三家的需求就更加地不能缺失了。闲鱼水深,人所共知,这就越需要进行商品对比了。
在对比这方面,PC的大屏,和手机甚至是平板的小屏比起来,优势不要太明显。
对浏量和用户信息的妥协
互联网发展到最近几年,很多应用从网页版到手机端,再到只有手机端。除了是对移动互联网的支持加深,更多的是对于用户数据的详细需求。
一台手机里面的用户数据,和一台电脑里面可以映射出来的用户数据,完全可以说是指数级的数据碾压。通过一台手机注册的用户数据,以及用户上传的数据信息,可以比电脑更加容易/清晰地勾画出用户图像。
所以这些年来最可怕的一个词相信很多人都深有体会------大数据。
从大数据个性化推荐,到大数据电商杀熟。
大数据在窃取用户数据的方面,可以说是完全合法的在偷听客户的真实心声。真实而可怕。
所以,这次闲鱼开放网页版的更深层理解,个人觉得其实是互联网文化的进步,也是大厂对于流量和客户信息矛盾的一次让步。
接下来是见证技术的时刻
说了想说的话,来看下闲鱼网页版抓取数据的效果吧。
这是闲鱼PC版搜索页面的截图,以及调试页面:
可见闲鱼数据返回的链接和请求头信息
使用python实现此处功能,可以抓取网页版搜索功能相同的结果数据: