一、基础工具 网页开发者工具和requests ，爬虫基础使用
二、数据解析 正则、bs4、xpath ，自动获取关注的信息
三、登录以及代理 cookie的处理，代理 ，处理需要登录的部分，需要匿名的部分
四、线程，进程，协程 使用协程，线程节约时间 ，提高速度、节约寿命，
五、抓取图片、视频 获取网页上的图片及视频 ，爬虫获取资源
六、Selenium Selenium模拟用户 ，君子善假于物也
想到啥再加 ，欢迎讨论（但懒）
相关推荐
B站计算机毕业设计之家13 小时前
Python招聘数据分析可视化系统 Boss直聘数据 selenium爬虫 Flask框架 数据清洗（附源码）✅傻啦嘿哟13 小时前
用Redis实现爬虫URL去重与队列管理：从原理到实战的极简指南雪碧聊技术13 小时前
爬虫是什么？小白学大数据18 小时前
集成Scrapy与异步库：Scrapy+Playwright自动化爬取动态内容深蓝电商API20 小时前
异步爬虫的终极形态：aiohttp + asyncio 实现万级并发实践电商API_1800790524720 小时前
从客户需求到 API 落地：淘宝商品详情批量爬取与接口封装实践深蓝电商API21 小时前
爬虫性能压榨艺术：深入剖析 Scrapy 内核与中间件优化傻啦嘿哟1 天前
爬虫数据去重：BloomFilter算法实现指南Jonathan Star2 天前
网站识别爬虫（包括以浏览器插件形式运行的爬虫）主要通过分析请求特征、行为模式等差异来区分人类用户和自动化程序深蓝电商API3 天前
从爬虫到平台：如何把你的爬虫项目做成一个技术产品？