一、基础工具 网页开发者工具和requests ，爬虫基础使用
二、数据解析 正则、bs4、xpath ，自动获取关注的信息
三、登录以及代理 cookie的处理，代理 ，处理需要登录的部分，需要匿名的部分
四、线程，进程，协程 使用协程，线程节约时间 ，提高速度、节约寿命，
五、抓取图片、视频 获取网页上的图片及视频 ，爬虫获取资源
六、Selenium Selenium模拟用户 ，君子善假于物也
想到啥再加 ，欢迎讨论（但懒）
相关推荐
weixin_440401692 小时前
网络机器人(爬虫)+Xpath+网页F12+爬取电影Top100深蓝电商API3 小时前
爬虫测试：单元测试与集成测试实践新缸中之脑9 小时前
反爬虫大师的网络爬取API进击的雷神12 小时前
地址语义解析、多语言国家匹配、动态重试机制、混合内容提取——德国FAKUMA展爬虫四大技术难关攻克纪实white.tie16 小时前
scrapling AI爬虫 初体验进击的雷神18 小时前
邮箱编码解码、国际电话验证、主办方过滤、多页面深度爬取——柬埔寨塑料展爬虫四大技术难关攻克纪实深蓝电商API18 小时前
多线程 vs 异步 vs 多进程爬虫性能对比进击的雷神19 小时前
相对路径拼接、TEL前缀清洗、多链接过滤、毫秒级延迟控制——日本东京塑料展爬虫四大技术难关攻克纪实`Jay1 天前
高并发数据采集：隧道代理池架构设计与实现小圣贤君1 天前
在 Electron 里造一个「搜书 + 下载」：从 so-novel 到 51mazi 的爬虫实践