浏览器插件爬虫,原创,爬虫方法,js chrome插件,contentjs,拿到dom,拿到数据,下载json,或者请求后端,传入数据库。 要爬取很多页咋办,location.href=link?page=2,加载content.js 的时候, 爬取页面() { setTimeout( location.href=link?page=2 ) }。 跨域通过插件的postMessage,或者浏览器不安全模式启动
优势在于不用做爬虫里面困难的解密 反爬之类的。针对小数据量的是可以的。 实测可以做boss直聘、智联招聘、一些招聘网站、知乎、京东之类
运行视频
https://acc15t4bm5.feishu.cn/file/Itm6b7K6uoMN4Vxw0kpc7XzKnef?from=from_copylink