【酱浦菌-爬虫项目】python爬取彼岸桌面壁纸

  1. 首先,代码导入了两个库:requestsparsel。这些库用于处理HTTP请求和解析HTML内容。

  2. 然后,它定义了一个变量url,指向网站'樱花2024年4月日历风景桌面壁纸_高清2024年4月日历壁纸_彼岸桌面'。

  3. 接下来,设置了一个HTTP请求的头部信息,模拟了一个Chrome浏览器的请求。

  4. 通过requests.get()方法,发送一个GET请求到指定的URL,并将响应内容保存在response变量中。

  5. 使用response.apparent_encoding来设置响应的编码方式。

  6. 创建一个parsel.Selector对象,用于解析HTML内容。

  7. 从HTML中选择所有<li>元素,这些元素包含了图片的信息。

  8. 遍历每个

    复制代码
     <li>

    元素:

    • 提取<b>标签内的文本作为图片的标题。

    • 如果存在标题,提取<img>标签的src属性,即图片的URL。

    • 使用requests.get()方法获取图片的内容。

    • 将图片内容写入到以标题命名的文件中(保存在img文件夹下)。

    • 打印图片的URL和标题。

  9. 最后,输出一条消息表示下载完成。

完整代码如下:

python 复制代码
#http://www.netbian.com/desk/33413.htm
import requests
import parsel
url = 'http://www.netbian.com/desk/33413.htm'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
response.encoding = response.apparent_encoding
selector = parsel.Selector(response.text)
lis = selector.css('.list li')
print('====================')
print('开始下载:')
for li in lis:
        title = li.css('b::text').get()
        if title:
            li_url = li.css('img::attr(src)').get()
            img_content = requests.get(url = li_url).content
            with open('img\\' + title + '.jpg', mode = 'wb') as f:
                f.write(img_content)
            print(li_url, title)
print('下载完成!')
print('====================')

运行效果如下:

相关推荐
qq_413502023 分钟前
如何解决ORA-12518监听程序无法分配进程_内存耗尽与PGA溢出
jvm·数据库·python
小短腿的代码世界8 分钟前
Qt跨进程通信在交易系统中的应用:让策略引擎与风控模块在毫秒级握手
开发语言·qt
zhangrelay20 分钟前
三分钟云课实践速通--大学物理--python 版
linux·开发语言·python·学习·ubuntu·lubuntu
djjdjdjdjjdj41 分钟前
如何用参数解构在函数入口处直接提取对象属性
jvm·数据库·python
MegaDataFlowers42 分钟前
调用Service层操作数据
java·开发语言
forEverPlume1 小时前
mysql如何批量增加表的字段_脚本化DDL操作实践
jvm·数据库·python
asdzx671 小时前
使用 Python 读取 PDF: 提取文本和图片
开发语言·python·pdf
沐知全栈开发1 小时前
jQuery Mobile 表单选择
开发语言
m0_596406371 小时前
CSS如何高效引入样式表_对比link标签与import指令的性能差异
jvm·数据库·python
MoonBit月兔1 小时前
MoonBit 大型软件合成挑战赛决赛暨 Meetup 0.9 版本专场回顾
大数据·开发语言·人工智能·moonbit