爬虫临时大纲,修修补补,缝缝改改

一、基础工具 网页开发者工具和requests ,爬虫基础使用

二、数据解析 正则、bs4、xpath ,自动获取关注的信息

三、登录以及代理 cookie的处理,代理 ,处理需要登录的部分,需要匿名的部分

四、线程,进程,协程 使用协程,线程节约时间 ,提高速度、节约寿命,

五、抓取图片、视频 获取网页上的图片及视频 ,爬虫获取资源

六、Selenium Selenium模拟用户 ,君子善假于物也

想到啥再加 ,欢迎讨论(但懒)

相关推荐
AC赳赳老秦10 分钟前
Unity游戏开发实战指南:核心逻辑与场景构建详解
开发语言·spring boot·爬虫·搜索引擎·全文检索·lucene·deepseek
小花皮猪19 小时前
LLM驱动智能数据采集:2026年10大AI网络爬虫工具对比评测
爬虫
我药打十个20 小时前
搭建稳定的ip代理池方法
爬虫·计算机网络·ip·ip代理池
sa1002721 小时前
基于Python的京东评论爬虫
开发语言·爬虫·python
电商API_180079052471 天前
B站视频列表与详情数据API调用完全指南
大数据·人工智能·爬虫·数据分析
我想吃烤肉肉1 天前
wait_until=“domcontentloaded“ 解释
开发语言·前端·javascript·爬虫·python
小白学大数据1 天前
使用 Selenium 爬取京东手机销量与评分数据 (1)
爬虫·selenium·测试工具·智能手机
He_Donglin1 天前
Python图书爬虫
开发语言·爬虫·python
APIshop1 天前
Python 爬虫获取 item_get_web —— 淘宝商品 SKU、详情图、券后价全流程解析
前端·爬虫·python