20231120_python练习_天气网爬取城市近七天温度情况

先根据城市名找到对应编码,然后获取近七天天气情况

淄博 101120301 ['20日(今天)'] ['晴'] <class 'list'> ['7℃'] ['\n', '<3级', '\n']

淄博 101120301 ['21日(明天)'] ['晴转阴'] <class 'list'> ['20℃', '8℃'] ['\n', '<3级', '\n']

淄博 101120301 ['22日(后天)'] ['多云'] <class 'list'> ['17℃', '3℃'] ['\n', '<3级', '\n']

淄博 101120301 ['23日(周四)'] ['晴'] <class 'list'> ['8℃', '-5℃'] ['\n', '3-4级转<3级', '\n']

淄博 101120301 ['24日(周五)'] ['晴转多云'] <class 'list'> ['5℃', '-5℃'] ['\n', '<3级', '\n']

淄博 101120301 ['25日(周六)'] ['阴转多云'] <class 'list'> ['9℃', '0℃'] ['\n', '<3级', '\n']

淄博 101120301 ['26日(周日)'] ['晴'] <class 'list'> ['12℃', '-2℃'] ['\n', '<3级', '\n']

复制代码
import requests
import json
from lxml import etree

city_dic = {}
text_mw = '淄博'
#将中文转置为字符
text_id = str(text_mw.encode('utf-8')).upper().replace('\\X','%')[2:-1]
print('text_id',text_id)

url = 'http://toy1.weather.com.cn/search?cityname=' + text_id
#设置请求头
header={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.43",
    "Referer":"http://www.weather.com.cn/", 
    "Cookie":"Hm_lvt_080dabacb001ad3dc8b9b9049b36d43b=1700397713; f_city=%E6%B5%8E%E5%8D%97%7C101120101%7C; Hm_lpvt_080dabacb001ad3dc8b9b9049b36d43b=1700398953"
}
resp = requests.get(url=url,headers=header)
print(resp.status_code)

data = resp.text[1:-1]
json_data = json.loads(data)[0]['ref'][0:9]
#获取城市对应编码
print(json_data)
#淄博 101120301
city_url = 'http://www.weather.com.cn/weather/' + json_data + '.shtml'
print(city_url)
city_resp = requests.get(url=city_url,headers=header)
city_resp.encoding = city_resp.apparent_encoding
html = etree.HTML(city_resp.text)
node_all = html.xpath('//ul[@class="t clearfix"]/li')
#print('节点名称',[i.tag for i in node_all])
for node in node_all:
    day_text = node.xpath('.//h1/text()')
    wea_text = node.xpath('.//p[@class="wea"]/text()')
    tem_text = node.xpath('.//p[@class="tem"]//text()')
    for tem in tem_text:
        if tem in ('/','\n'):tem_text.remove(tem)
    win_text = node.xpath('.//p[@class="win"]//text()')
    for win in win_text:
        if win in ('/','\n'):win_text.remove(win)
    print(text_mw,json_data,day_text,wea_text,type(tem_text),tem_text,win_text)
相关推荐
是苏浙3 分钟前
零基础入门C语言之深入了解指针2
c语言·开发语言
朝朝辞暮i31 分钟前
从0开始学python(day2)
python
程序员黄同学37 分钟前
Python中的列表推导式、字典推导式和集合推导式的性能和应用场景?
开发语言·python
AI小云38 分钟前
【Python高级编程】类和实例化
开发语言·人工智能·python
道之极万物灭43 分钟前
Python uv虚拟环境管理工具详解
开发语言·python·uv
OC溥哥9991 小时前
C++2D地铁跑酷代码
开发语言·c++
高洁011 小时前
【无标题】大模型-模型压缩:量化、剪枝、蒸馏、二值化 (2
人工智能·python·深度学习·神经网络·知识图谱
一晌小贪欢1 小时前
Python爬虫第10课:分布式爬虫架构与Scrapy-Redis
分布式·爬虫·python·网络爬虫·python爬虫·python3
「QT(C++)开发工程师」2 小时前
【LUA教程】LUA脚本语言中文教程.PDF
开发语言·pdf·lua
代码AI弗森2 小时前
Python × NumPy」 vs 「JavaScript × TensorFlow.js」生态全景图
javascript·python·numpy