爬虫临时大纲,修修补补,缝缝改改

一、基础工具 网页开发者工具和requests ,爬虫基础使用

二、数据解析 正则、bs4、xpath ,自动获取关注的信息

三、登录以及代理 cookie的处理,代理 ,处理需要登录的部分,需要匿名的部分

四、线程,进程,协程 使用协程,线程节约时间 ,提高速度、节约寿命,

五、抓取图片、视频 获取网页上的图片及视频 ,爬虫获取资源

六、Selenium Selenium模拟用户 ,君子善假于物也

想到啥再加 ,欢迎讨论(但懒)

相关推荐
大神薯条老师2 分钟前
Python零基础入门到高手8.4节: 元组与列表的区别
开发语言·爬虫·python·深度学习·机器学习·数据分析
小白学大数据27 分钟前
Python爬虫如何应对网站的反爬加密策略?
开发语言·爬虫·python
北漂老男孩2 小时前
ChromeDriver 技术生态与应用场景深度解析
java·爬虫·python·自动化
咕噜咕噜啦啦6 小时前
Python爬虫入门
开发语言·爬虫·python
小白学大数据10 小时前
Python+Selenium爬虫:豆瓣登录反反爬策略解析
分布式·爬虫·python·selenium
攻城狮7号15 小时前
Python爬虫第21节- 基础图形验证码识别实战
开发语言·爬虫·python·图形验证码识别
顾一大人1 天前
dp自动化登陆之hCaptcha 验证码
爬虫·python·自动化
whoarethenext1 天前
c/c++爬虫总结
c语言·c++·爬虫
Dreams°1231 天前
【Python爬虫 !!!!!!政府招投标数据爬虫项目--医疗实例项目文档(提供源码!!!)!!!学会Python爬虫轻松赚外快】
分布式·爬虫·python·mysql·scikit-learn
API小爬虫2 天前
如何用Jsoup库提取商品名称和价格?
java·爬虫