python爬虫之实现edge无头浏览器和规避检测

python爬虫之实现edge无头浏览器和规避检测

爬取百度网页源码但不打开浏览器

实现代码如下:

复制代码
#需求:实现edge无头浏览器和规避检测
from selenium import webdriver
from time import sleep
from selenium.webdriver.edge.options import Options# 实现无可视化界面的操作,

#定义浏览器对象
#实现无可视化界面的操作,无可视化界面(无头浏览器),要用直接复制,加上上面的引入
options = Options()#定义一个option对象
options.add_argument("headless")
#规避检测
options.use_chromium = True
options.add_argument('--disable-blink-features=AutomationControlled')

bro = webdriver.Edge(options=options)

bro.get('https://www.baidu.com/')

print(bro.page_source)
sleep(2)
bro.quit()
相关推荐
2501_9481201513 小时前
教育资源网站的爬虫采集与个性化学习推荐
爬虫·学习
给你一页白纸13 小时前
将分散的Pytest测试脚本统一接入测试平台:FastAPI改造方案详解
python·pytest·接口自动化·测试平台
孤狼warrior13 小时前
图像生成 Stable Diffusion模型架构介绍及使用代码 附数据集批量获取
人工智能·python·深度学习·stable diffusion·cnn·transformer·stablediffusion
大哥手下留情13 小时前
Python火车票查询方法介绍
开发语言·python
努力毕业的小土博^_^13 小时前
【AI课程领学】第十二课 · 超参数设定与网络训练(课时1) 网络超参数设定:从“要调什么”到“怎么系统地调”(含 PyTorch 可复用模板)
人工智能·pytorch·python·深度学习·神经网络·机器学习
YMLT花岗岩14 小时前
Python学习之-函数-入门训练-在函数中修改全局变量
python·学习
花月mmc14 小时前
CanMV K230 波形识别——数据分析(2)
python·数据挖掘·数据分析·信号处理
进击的小头14 小时前
传递函数与系统特性(核心数学工具)
python·算法·数学建模
小王努力学编程14 小时前
LangChain——AI应用开发框架(核心组件2)
linux·服务器·c++·人工智能·python·langchain·信号
高洁0114 小时前
数字孪生应用于特种设备领域的技术难点
人工智能·python·深度学习·机器学习·知识图谱