在使用Python的Selenium库打卡网页后,通过CDP命令获取所有cookies(包括Httponly和Secure的cookies)

通过 Chrome DevTools Protocol (CDP) 结合 Selenium 可以直接获取浏览器存储的所有 Cookies(包括所有域名下的 Cookies),以下是详细步骤:

步骤 1:配置 Chrome 启用 CDP启动 Chrome 浏览器时需启用远程调试端口(Remote Debugging Port),这是使用 CDP 的前提:

python 复制代码
from selenium import webdriver
from selenium.webdriver.chrome.options 
import Options
# 配置 Chrome 选项
chrome_options = Options()chrome_options.add_argument("--remote-debugging-port=9222")  
# 启用调试端口
chrome_options.add_argument("--headless=new")  
# 可选:无头模式# 初始化 
WebDriverdriver = webdriver.Chrome(options=chrome_options)

步骤 2:通过 CDP 命令获取所有 Cookies使用 Selenium 的 execute_cdp_cmd 方法发送 CDP 命令 Network.getAllCookies:

python 复制代码
# 发送 CDP 命令获取所有 
Cookiescookies_response = driver.execute_cdp_cmd("Network.getAllCookies", {})
all_cookies = cookies_response.get("cookies", [])
# 打印结果
print("所有 Cookies 列表:", all_cookies)

完整代码示例

python 复制代码
from selenium import webdriver
from selenium.webdriver.chrome.options 
import Options
# 配置 Chrome 并启用 CDP
chrome_options = Options()chrome_options.add_argument("--remote-debugging-port=9222")
driver = webdriver.Chrome(options=chrome_options)
# 打开任意网页(可选)
driver.get("https://www.example.com")
# 使用 CDP 命令获取所有 Cookies
try:    
    cookies = driver.execute_cdp_cmd("Network.getAllCookies", {}).get("cookies", [])
    print("获取到的 Cookies 数量:", len(cookies))    
    for cookie in cookies:        
        print(f"名称: {cookie['name']}, 值: {cookie['value']}, 域名: {cookie['domain']}")
except Exception as e:    
    print("获取 Cookies 失败:", e)# 关闭浏览器driver.quit()

关键点说明

  1. 启用调试端口 : - --remote-debugging-port=9222 是使用 CDP 的关键配置。 - 如果未启用此端口,execute_cdp_cmd 将无法工作。
  2. CDP 命令 Network.getAllCookies : - 该命令返回浏览器存储的 所有 Cookies ,包括不同域名下的 Cookies。 - 返回的 Cookies 信息包含 name、value、domain、path、expires 等字段。
  3. 与传统方法的区别 : - 传统 driver.get_cookies() 只能获取当前页面域名下的 Cookies。 - CDP 方法可以获取浏览器全局存储的 Cookies,无需切换标签页或域名。

常见问题

  • 返回空列表 :
    • 确保浏览器已加载过页面(部分 Cookies 可能在页面加载后生成)。
    • 检查浏览器隐私设置(如隐身模式下可能无 Cookies)。
  • 安全限制 :
    • 部分 Cookies 可能标记为 HttpOnly 或 Secure,但 CDP 通常仍可获取(与 JavaScript 不同)。
  • 浏览器兼容性 :
    • CDP 需要 Chrome 或基于 Chromium 的浏览器(如 Edge)。
    • 确保 Chrome 和 ChromeDriver 版本兼容(建议使用最新稳定版)。通过上述方法,你可以直接通过 Selenium 调用底层 CDP 接口,高效获取完整的浏览器 Cookies 数据。
相关推荐
云和数据.ChenGuang39 分钟前
LangGraph 异步 Node 的设计与写法实践
开发语言·人工智能·python·机器学习·php
天诰2 小时前
SA-K-11 检索会消失吗与四个未解问题
java·服务器·人工智能·python·机器学习·ai编程
benchmark_cc2 小时前
用 QuantDash 读取美股行情:AAPL.US 的运行前检查、排错顺序与数据校验清单
python·数据分析·pandas·量化交易·股票数据·quantdash
羲云网络6 小时前
GPT Image 2.6 接入指南:Flare、Sunburst 怎么选,编辑失败如何排查
人工智能·python·aigc·图像生成·acedatacloud
橙橙笔记9 小时前
具身智能的学习 - 完成一个机械臂 第1节
python·学习·机械臂·具身智能
小小张说故事9 小时前
Python 的 class 语句到底执行了什么?拆开 __prepare__、metaclass.__new__ 和那个被讲反的 __set_name__ 顺序
python
天天被压力11 小时前
【A股分钟级高频数据完全手册 #07】北交所历史分钟K线接口:京市Pro版分时批量
java·人工智能·python
天天被压力11 小时前
【A股分钟级高频数据完全手册 #08】股票日、分时数据接口对比:普通分时与Pro版差异实测
java·人工智能·python
特立独行的猫A12 小时前
AI 时代,我为什么推荐用 cj-tauri 开发桌面应用
java·后端·python
小lo想吃棒棒糖12 小时前
把机器人训练从 GPU 搬到昇腾 NPU:启元 Q1 起身动作 PPO 训练全记录
python·机器人·昇腾·启元机器人