代码-功能-Python-运用bs4技术爬取汽车之家新闻信息

第三方库安装指令:

python 复制代码
pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install BeautifulSoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple

运行代码:

python 复制代码
#这个代码并不完整,有很大的问题,但目前不知道怎么改,就先这样吧!
import requests
from bs4 import BeautifulSoup
header={
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
}

begin = int(input("请输入开始页码:"))
end = int(input("请输入结束页码:"))

def save(titles):
    with open("1.html", 'w', encoding='utf-8') as file:
        x=str(titles)
        file.write(x)
title_ls=[]
content_ls=[]
for page in range(begin,end+1):
    url = f"https://www.autohome.com.cn/news/{page}/#liststart"
    rsp = requests.get(url,headers=header)
    bs4=BeautifulSoup(rsp.text,features='lxml')
    titles=bs4.find_all("h3")[1:]
    for title in titles:
        title_ls.append(title.text)

    contents = bs4.find_all("p")[3:]
    for content in  contents:
        content_ls.append(content)
titles=dict(zip(title_ls,content_ls))
save(titles)
print("爬取完毕")
相关推荐
国货崛起6 分钟前
华为2024年营收逼近历史峰值:终端业务复苏、智能汽车爆发式增长
华为·汽车
-代号952714 分钟前
【JavaScript】十三、事件监听与事件类型
开发语言·javascript·ecmascript
q5673152329 分钟前
使用puppeteer库编写的爬虫程序
爬虫·python·网络协议·http
mosquito_lover134 分钟前
Python数据分析与可视化实战
python·数据挖掘·数据分析
写代码的小王吧37 分钟前
【Java可执行命令】(十)JAR文件签名工具 jarsigner:通过数字签名及验证保证代码信任与安全,深入解析 Java的 jarsigner命令~
java·开发语言·网络·安全·web安全·网络安全·jar
eqwaak039 分钟前
量子计算与AI音乐——解锁无限可能的音色宇宙
人工智能·爬虫·python·自动化·量子计算
SylviaW0840 分钟前
python-leetcode 63.搜索二维矩阵
python·leetcode·矩阵
小卡皮巴拉44 分钟前
【力扣刷题实战】矩阵区域和
开发语言·c++·算法·leetcode·前缀和·矩阵
想成为PhD的小提琴手1 小时前
论文阅读9——更严格的汽车排放标准对气候、健康、农业和经济的影响
汽车
努力搬砖的咸鱼1 小时前
Qt中的数据解析--XML与JSON处理全攻略
xml·开发语言·qt·json