爬虫临时大纲,修修补补,缝缝改改

一、基础工具 网页开发者工具和requests ,爬虫基础使用

二、数据解析 正则、bs4、xpath ,自动获取关注的信息

三、登录以及代理 cookie的处理,代理 ,处理需要登录的部分,需要匿名的部分

四、线程,进程,协程 使用协程,线程节约时间 ,提高速度、节约寿命,

五、抓取图片、视频 获取网页上的图片及视频 ,爬虫获取资源

六、Selenium Selenium模拟用户 ,君子善假于物也

想到啥再加 ,欢迎讨论(但懒)

相关推荐
yijianace18 小时前
Python爬虫实战:ThreadPoolExecutor多线程采集书籍信息与图片下载
开发语言·爬虫·python
在放️18 小时前
Python 爬虫 · bs4 模块基础
开发语言·爬虫·python
belong_my_offer18 小时前
Python 数据采集完全指南 —— 从零开始掌握网络爬虫与文件读取
开发语言·爬虫·python
遇事不決洛必達1 天前
【Python基础】GIL 锁是什么及其对爬虫的影响
爬虫·python·线程·进程·gil锁
綝~1 天前
爬虫数据采集工程师岗位面试题
爬虫·面试·请求
跨境数据猎手1 天前
大数据在电商行业的应用
大数据·运维·爬虫
tang777891 天前
异步爬虫与代理IP池结合:用aiohttp提升10倍抓取效率
爬虫·网络爬虫·爬虫代理·代理ip·代理ip池
深蓝电商API2 天前
行为模拟的艺术:如何让爬虫的鼠标轨迹像真人
爬虫
嫂子的姐夫2 天前
047-MD5:飞卢网
爬虫·python·js逆向·逆向
数据知道2 天前
从Playwright到自研:构建指纹浏览器的技术栈选型与路线图
爬虫·数据采集·指纹浏览器