Python爬虫怎么获取动态AJAX数据_从浏览器网络控制台分析接口

要找AJAX接口，先在Network中筛选XHR/Fetch请求，操作页面触发新请求，找响应为JSON且含业务字段的；注意Headers、Cookie、Referer等反爬参数，POST时按Request Payload格式选data或json参数。怎么看懂 Network 里哪个请求是你要的 AJAX 接口动态数据通常藏在 XHR 或 Fetch 类型的请求里，不是 HTML 页面本身。打开浏览器开发者工具的 Network 标签页，刷新页面后筛选 XHR 或 Fetch，再操作页面（比如点"加载更多"、选城市、输关键词），观察新出现的请求------那个响应里有你要的数据（JSON 格式）的就是目标接口。常见错误现象：只盯着 Doc 类型请求，或者看到一堆 js、css 就跳过；其实真正传数据的请求往往体积小、响应快、Content-Type 是 application/json。右键点击请求 → Copy → Copy as cURL，粘贴到终端能直接复现，这是验证是否找对的最快方式注意请求的 Method：多数是 GET，但翻页、搜索、提交表单常是 POST，参数在请求体（Request Payload）里，不是 URL 上检查 Response 是否含真实业务字段（如 "title"、"price"、"list"），而不是 {"code":0,"msg":"success"} 这种空壳为什么 requests 直接请求会返回空或 403/401因为服务端做了反爬校验：缺 User-Agent、没带 Cookie、没传 Referer、甚至要求请求头里有自定义字段（比如 X-Requested-With: XMLHttpRequest）。使用场景：你从 Network 复制了 cURL，但用 requests.get() 一跑就挂，大概率是 headers 没对齐。立即学习"Python免费学习笔记（深入）"；在 Network 里点中目标请求 → Headers 标签 → 拉到底看 Request Headers，把所有非浏览器默认字段（如 authorization、x-token、cookie）都复制进 requests 的 headers 参数Cookie 特别容易漏：它可能是登录态维持的关键，且有时有效期短，抓完立刻用，过几分钟再试可能就失效某些接口校验 Referer 或 Origin，不填或填错会导致 403；填成发起该请求的上一页 URL 即可（比如列表页 URL）POST 请求的 data 和 json 参数怎么选取决于接口实际接收的格式。看 Network 里的 Request Payload 是纯 JSON 字符串，还是 form-data / x-www-form-urlencoded 形式。 WisPaper 复旦大学研发的AI学术搜索工具，5分钟内筛选1000篇论文