一、基础工具 网页开发者工具和requests ，爬虫基础使用
二、数据解析 正则、bs4、xpath ，自动获取关注的信息
三、登录以及代理 cookie的处理，代理 ，处理需要登录的部分，需要匿名的部分
四、线程，进程，协程 使用协程，线程节约时间 ，提高速度、节约寿命，
五、抓取图片、视频 获取网页上的图片及视频 ，爬虫获取资源
六、Selenium Selenium模拟用户 ，君子善假于物也
想到啥再加 ，欢迎讨论（但懒）
相关推荐
华科云商xiao徐2 小时前
告别IP被封！分布式爬虫的“隐身”与“分身”术q567315236 小时前
告别低效：构建健壮R爬虫的工程思维一个天蝎座 白勺 程序猿15 小时前
Python爬虫（47）Python异步爬虫与K8S弹性伸缩：构建百万级并发数据采集引擎华科云商xiao徐1 天前
告别低效：构建健壮R爬虫的工程思维熊猫钓鱼>_>2 天前
2025反爬虫之战札记：从robots.txt到多层防御的攻防进化史Blurpath2 天前
如何利用静态代理IP优化爬虫策略？从基础到实战的完整指南wjayg2252 天前
网络爬虫是自动从互联网上采集数据的程序IT毕设实战小研2 天前
2026届大数据毕业设计选题推荐-基于大数据旅游数据分析与推荐系统 爬虫数据可视化分析Villiam_AY2 天前
使用 chromedp 高效爬取 Bing 搜索结果爬虫程序猿3 天前
利用 Java 爬虫获取淘宝商品 SKU 详细信息实战指南