python爬虫-网页数据提取

python 复制代码
import requests
#headers = 网页右键->Network->最下面的User-Agent复制。
headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36"}
#你想要的网址
url = "https://www.xinpianchang.com/discover/article?from=navigator"
response = requests.get(url, headers=headers)
print(response)# 打印200 说明访问成功
#下面是正式的数据提取,构建xpath的对象
from lxml import etree
tree = etree.HTML(response.text)#页面的元素树
##示例1 标题
elements = tree.xpath('//h2[@class="truncate block"]')#在Elements寻找你想要的元素,可以在页面移动#光标
for element in elements:
    print(element.text)
##也可以在elements中右键copy xpath,这里需要分析一下,将复制的xpath删除一部分
print(tree.xpath('//*[@id="__next"]/section/main/div/div/div/div/div/a/div/ul/li[1]/span[2]')[0].text)
print(tree.xpath('//*[@id="__next"]/section/main/div/div/div/div/div/a/div/ul/li[2]/span[2]')[0].text)
print(tree.xpath('/html/body/div/section/main/div/div/div/div/div/div/a/h2')[1].text)
  


相关推荐
machnerrn9 分钟前
matlab实现直流伺服电机 PID 控制系统仿真系统(含源码+资料报告+说明文档等)
开发语言·matlab
Hello--_--World12 分钟前
JS:this指向、bind、call、apply、知识点与相关面试题
开发语言·javascript·ecmascript
断眉的派大星20 分钟前
工厂模式(Factory Pattern)完整详解
python·设计模式
好家伙VCC21 分钟前
**基于RISC-V架构的嵌入式系统开发:从零开始构建高效低功耗应用**在当前物联网(IoT)和边缘计
java·python·物联网·架构·risc-v
沐知全栈开发35 分钟前
CSS Text(文本)
开发语言
前进吧-程序员40 分钟前
现代 C++ 异步编程:从零实现一个高性能 ThreadPool (C++20 深度实践)
开发语言·c++·c++20
大佬王44 分钟前
WebSocket 连接池生产级实现:实时行情高可用与负载均衡
python·架构
Rsun045511 小时前
10、Java 桥接模式从入门到实战
java·开发语言·桥接模式
电商API_180079052471 小时前
闲鱼商品采集API商品列表API店铺商品API
爬虫·数据挖掘·数据分析
jieyucx1 小时前
Golang 完整安装与 VSCode 开发环境搭建教程
开发语言·vscode·golang