一、基础工具 网页开发者工具和requests ，爬虫基础使用
二、数据解析 正则、bs4、xpath ，自动获取关注的信息
三、登录以及代理 cookie的处理，代理 ，处理需要登录的部分，需要匿名的部分
四、线程，进程，协程 使用协程，线程节约时间 ，提高速度、节约寿命，
五、抓取图片、视频 获取网页上的图片及视频 ，爬虫获取资源
六、Selenium Selenium模拟用户 ，君子善假于物也
想到啥再加 ，欢迎讨论（但懒）
相关推荐
枫叶V13 小时前
Scrapling 入门：一个现代 Python 网页采集框架YYueHua513 小时前
python3爬虫基础--HTTP基本原理靠谱品牌推荐官13 小时前
【架构实战】如何设计一套原生支持 GEO 大模型爬虫语义索引的 HTML5/CSS3 纯净白盒前端架构？烟雨江南aabb14 小时前
Python第七弹：爬虫篇：BeautifulSoup库深蓝电商API1 天前
请求签名算法破解：从Chrome DevTools到Python还原的完整流程DevnullCoffe2 天前
用 MCP 让 AI Agent 直接批量下载亚马逊商品图片——原理、踩坑与实现深蓝电商API2 天前
电商网站IP封禁绕过：代理池+流量指纹模拟的实战方案川冰ICE3 天前
Python爬虫实战⑳｜Pandas时间序列，趋势分析一网打尽小白学大数据3 天前
Python 爬虫动态 JS 渲染与无头浏览器实战选型指南WL_Aurora3 天前
Python爬虫实战（三）：水果行情网站大规模分页爬取