【Python如何使用requests+re库进行简单爬虫实例应用】

1、安装requests库

(1)直接win+R输入cmd进入命令行界面,执行命令:pip install requests

(2)再Pycharm中,'File'-'Settings'-'Python interpreter'-'+'-搜索'requests'-'install package'下载,如下图所示

2、实例:爬虫提取百度热搜的前十条,并写入一个文件中。代码如下:

python 复制代码
import requests
import re  # 导入库
url = "https://top.baidu.com/board?platform=pc&sa=pcindex_entry"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb"
                         "Kit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36"}  # 创建变量
response = requests.get(url, headers=headers).text  # 发送get请求
most_searched_hashtags = re.findall(r',"indexUrl":"","query":"(.*?)","rawUrl"', response)  # 正则表达式提取内容成一个列表
with open(r'D:\pythonn\pythonProject\240202package\hot1.txt', mode='a+', encoding='utf-8') as file:  # 创建一个文件hot1.txt,打开文件追加内容
    for i in range(10):  # 循环10次
        print("热搜榜第{}:{}".format(i, most_searched_hashtags[i]))  # 输出前10条热搜内容
        file.write("热搜榜第{}:{}\n".format(i, most_searched_hashtags[i]))  # 将输出热搜内容追加写入hot1.txt文件中

若要更细了解requests,re库和文件读写操作可以借鉴: 【Pyhton中requests库、re库、文件读写的了解】-CSDN博客

3、输出结果如下:

相关推荐
明月看潮生2 分钟前
青少年编程与数学 02-016 Python数据结构与算法 16课题、贪心算法
python·算法·青少年编程·贪心算法·编程与数学
天才测试猿37 分钟前
Postman接口测试详解
自动化测试·软件测试·python·测试工具·测试用例·接口测试·postman
小杨40441 分钟前
python入门系列十七(正则表达式)
人工智能·python·pycharm
有梦想的鱼44 分钟前
创建虚拟环境无法加载到pycharm当conda环境,只能为python环境
开发语言·python
满怀10153 小时前
【Python技术生态全景:十大核心应用领域深度解析】
开发语言·python
一杯咖啡*_*5 小时前
VSCode优雅的使用debug
ide·vscode·python·编辑器·bug
脱脱克克5 小时前
2025.4.9 华为机考 第1题-补丁版本升级
python·算法·华为
凌叁儿8 小时前
python保留关键字详解
开发语言·python
意.远9 小时前
PyTorch实现二维卷积与边缘检测:从原理到实战
人工智能·pytorch·python·深度学习·神经网络·计算机视觉
勤劳的进取家9 小时前
贪心算法之最小生成树问题
数据结构·python·算法·贪心算法·排序算法·动态规划