关于selenium元素找不到的问题(Unable to locate element: {“method“:“xpath“,“selector“:“)

之前一个任务让用selenium爬取制定网站的一些数据,写了代码,在本机上写完后,移植到服务器上,然后在服务器上跑了两次发现,元素找不到了
Unable to locate element: {"method":"xpath","selector":"

然后由于服务器没有图形化界面,不能一步一步的调试,后来使用

python 复制代码
driver.get("https://www.baidu.com/")
# 等待页面加载
time.sleep(10)
html = driver.page_source

# 将页面源代码写入到本地文件
with open("百度.html", "w", encoding="utf-8") as file:
    file.write(html)

将界面下载下来,发现,呕吼,IP被封了,被封了,封了,了......

然后换了台服务器,然后为了防止再次被封,加入了

python 复制代码
options.add_argument(f"x-user-uuid={uuid.uuid4()}")
# 添加随机User-Agent,模拟不同的浏览器和设备,减少被网站识别为爬虫
user_agent = ua.random
options.add_argument(f'--user-agent={user_agent}')

然后,运行了一次,完美解决!(其实是又产生了新的问题QAQ)

过了两周,查看日志发现,裂开了,又不好使了,然后,我重新运行了一遍,想找找问题,结果他又好使了。我真的裂开,裂开了啊,再然后下载页面,发现他会出现两种页面,并且页面源代码完全不同??????怀疑人生

后来花了好久好久的时间,终于找到了问题,问题就出在:

python 复制代码
# 添加随机User-Agent,模拟不同的浏览器和设备,减少被网站识别为爬虫
user_agent = ua.random
options.add_argument(f'--user-agent={user_agent}')

他会随机模拟出手机标识,即让网站发送手机浏览器适应的页面

所以最终解决办法,修改这段代码:

python 复制代码
ua = UserAgent()

# 定义一个函数来生成随机的桌面 User-Agent
def get_random_desktop_user_agent():
    desktop_browsers = ['Chrome', 'Firefox', 'Edge', 'Safari']
    browser = random.choice(desktop_browsers)
    return ua[browser]

# 生成随机的桌面 User-Agent
user_agent = get_random_desktop_user_agent()
options.add_argument(f'--user-agent={user_agent}')
相关推荐
niuniu_6661 天前
简单的自动化场景(以 Chrome 浏览器 为例)
运维·chrome·python·selenium·测试工具·自动化·安全性测试
suimeng62 天前
ChromeDriver的常用方法
java·selenium
niuniu_6662 天前
Selenium 性能测试指南
selenium·测试工具·单元测试·测试·安全性测试
莓事哒2 天前
selenium和pytessarct提取古诗文网的验证码(python爬虫)
爬虫·python·selenium·测试工具·pycharm
suimeng62 天前
基本元素定位(findElement方法)
java·selenium
mywpython2 天前
mac 最新的chrome版本配置selenium的方式
chrome·python·selenium·macos
软件测试曦曦2 天前
如何使用Python自动化测试工具Selenium进行网页自动化?
自动化测试·软件测试·python·功能测试·测试工具·程序人生·自动化
freejackman2 天前
Selenium框架——Web自动化测试
python·selenium·测试
互联网杂货铺2 天前
黑盒测试、白盒测试、集成测试和系统测试的区别与联系
自动化测试·软件测试·python·功能测试·测试工具·单元测试·集成测试
Feng.Lee2 天前
聊一聊缓存如何进行测试
功能测试·测试工具·缓存