20231120_python练习_天气网爬取城市近七天温度情况

先根据城市名找到对应编码,然后获取近七天天气情况

淄博 101120301 '20日(今天)' '晴' <class 'list'> '7℃' '\\n', '\<3级', '\\n'

淄博 101120301 '21日(明天)' '晴转阴' <class 'list'> '20℃', '8℃' '\\n', '\<3级', '\\n'

淄博 101120301 '22日(后天)' '多云' <class 'list'> '17℃', '3℃' '\\n', '\<3级', '\\n'

淄博 101120301 '23日(周四)' '晴' <class 'list'> '8℃', '-5℃' '\\n', '3-4级转\<3级', '\\n'

淄博 101120301 '24日(周五)' '晴转多云' <class 'list'> '5℃', '-5℃' '\\n', '\<3级', '\\n'

淄博 101120301 '25日(周六)' '阴转多云' <class 'list'> '9℃', '0℃' '\\n', '\<3级', '\\n'

淄博 101120301 '26日(周日)' '晴' <class 'list'> '12℃', '-2℃' '\\n', '\<3级', '\\n'

复制代码
import requests
import json
from lxml import etree

city_dic = {}
text_mw = '淄博'
#将中文转置为字符
text_id = str(text_mw.encode('utf-8')).upper().replace('\\X','%')[2:-1]
print('text_id',text_id)

url = 'http://toy1.weather.com.cn/search?cityname=' + text_id
#设置请求头
header={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.43",
    "Referer":"http://www.weather.com.cn/", 
    "Cookie":"Hm_lvt_080dabacb001ad3dc8b9b9049b36d43b=1700397713; f_city=%E6%B5%8E%E5%8D%97%7C101120101%7C; Hm_lpvt_080dabacb001ad3dc8b9b9049b36d43b=1700398953"
}
resp = requests.get(url=url,headers=header)
print(resp.status_code)

data = resp.text[1:-1]
json_data = json.loads(data)[0]['ref'][0:9]
#获取城市对应编码
print(json_data)
#淄博 101120301
city_url = 'http://www.weather.com.cn/weather/' + json_data + '.shtml'
print(city_url)
city_resp = requests.get(url=city_url,headers=header)
city_resp.encoding = city_resp.apparent_encoding
html = etree.HTML(city_resp.text)
node_all = html.xpath('//ul[@class="t clearfix"]/li')
#print('节点名称',[i.tag for i in node_all])
for node in node_all:
    day_text = node.xpath('.//h1/text()')
    wea_text = node.xpath('.//p[@class="wea"]/text()')
    tem_text = node.xpath('.//p[@class="tem"]//text()')
    for tem in tem_text:
        if tem in ('/','\n'):tem_text.remove(tem)
    win_text = node.xpath('.//p[@class="win"]//text()')
    for win in win_text:
        if win in ('/','\n'):win_text.remove(win)
    print(text_mw,json_data,day_text,wea_text,type(tem_text),tem_text,win_text)
相关推荐
高洁016 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit6 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
FRing036 小时前
vue3干货总结2(vue3生命周期、父子通信、模版引用、provide和inject)
开发语言·前端·vue.js·vue3
yz_aiks7 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
琳少_8 小时前
java程序开发笔记
java·开发语言·数据库·笔记
七夜zippoe9 小时前
Agent 告警设计:分级告警、智能降噪与值班排班
开发语言·ai·agent·告警·智能降噪·值班排班
2601_967980119 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao9 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin050610 小时前
【OLLAMA】调用SKILL的通用ReAct
python
严肃小白兔10 小时前
PHP 8.6 正式发布:部分函数应用、原生 I/O 轮询与新特性实战解析
开发语言·php