python爬虫之实现edge无头浏览器和规避检测

python爬虫之实现edge无头浏览器和规避检测

爬取百度网页源码但不打开浏览器

实现代码如下:

复制代码
#需求:实现edge无头浏览器和规避检测
from selenium import webdriver
from time import sleep
from selenium.webdriver.edge.options import Options# 实现无可视化界面的操作,

#定义浏览器对象
#实现无可视化界面的操作,无可视化界面(无头浏览器),要用直接复制,加上上面的引入
options = Options()#定义一个option对象
options.add_argument("headless")
#规避检测
options.use_chromium = True
options.add_argument('--disable-blink-features=AutomationControlled')

bro = webdriver.Edge(options=options)

bro.get('https://www.baidu.com/')

print(bro.page_source)
sleep(2)
bro.quit()
相关推荐
喵手6 分钟前
Python爬虫零基础入门【第六章:增量、去重、断点续爬·第1节】增量采集:只抓新增/更新(新手也能做)!
爬虫·python·python爬虫实战·python爬虫工程化实战·python爬虫零基础入门·增量、去重·增量采集
万粉变现经纪人25 分钟前
如何解决 pip install pyodbc 报错 缺少 ‘cl.exe’ 或 ‘sql.h’(ODBC 头文件)问题
数据库·python·sql·网络协议·bug·ssl·pip
dazzle34 分钟前
Python数据结构(五):队列详解
数据结构·python
翱翔的苍鹰36 分钟前
完整的“RNN + jieba 中文情感分析”项目之一:需要添加添加 JWT 认证
人工智能·python·rnn
0思必得037 分钟前
[Web自动化] 爬虫URL去重
运维·爬虫·python·selenium·自动化
Cherry的跨界思维42 分钟前
【AI测试全栈:质量】40、数据平权之路:Python+Java+Vue全栈实战偏见检测与公平性测试
java·人工智能·python·机器学习·ai测试·ai全栈·ai测试全栈
wheelmouse778844 分钟前
Python 装饰器函数(decoratots) 学习笔记
笔记·python·学习
老歌老听老掉牙1 小时前
差分进化算法深度解码:Scipy高效全局优化实战秘籍
python·算法·scipy
工程师老罗1 小时前
Pycharm下新建一个conda环境后,如何在该环境下安装包?
人工智能·python
dazzle1 小时前
Python数据结构(四):栈详解
开发语言·数据结构·python