Python爬虫07_Requests爬取图片

一、爬取网页图片

即用 requests 下载一张网络图片,并以当前时间戳作为文件名保存到本地,初步理解实现程序化自动爬取图片数据。

python 复制代码
import requests
import time
import datetime

if __name__ == "__main__":
    #爬取图片数据
    url = 'https://pics5.baidu.com/feed/023b5bb5c9ea15ce37c1c2b207b6b5fe3b87b2a5.jpeg@f_auto?token=be26647100a6ad7e4a182c2f70dcebf7'
    #伪造userAgent
    userAgent = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:122.0) Gecko/20100101 Firefox/122.0'}
    #content返回的是二进制形式的图片数据
    #text(字符串),content(二进制),json()(对象)
    imgData = requests.get(url=url,headers=userAgent).content

    #获取当前日期和时间,时间戳形式
    current_time = time.time()
    current_timeStr = str(current_time)
    print("当前时间戳为:", current_timeStr)
    print('------------------------------------------------------------------')

    #获取当前时间,格式化可读形式
    dataTime = datetime.datetime.now()
    print("格式化时间为:", dataTime)
    print('------------------------------------------------------------------')

    #时间戳还原成可读日期时间格式
    timestamp = 1708009107.9769785  # 输入要还原的时间戳
    dt_object = datetime.datetime.fromtimestamp(timestamp)
    formatted_time = dt_object.strftime('%Y-%m-%d %H:%M:%S')
    print("还原后的时间为:", formatted_time)
    print('------------------------------------------------------------------')


    with open('E:/Reptile/img/'+ current_timeStr +'.jpeg','wb') as fp:
        fp.write(imgData)
        print("over! 保存成功!")

二、图片数据解析

必须以二进制方式返回图片数据的核心原因是:图片文件在底层就是一串原始字节(binary stream),而不是文本字符串;任何字符编码(如 UTF-8、GBK)都会破坏这些字节的原始顺序,导致图片打不开或损坏。
1、图片不是文本

text 属性会把服务器返回的内容先按某种字符编码(默认 UTF-8)解码成字符串,遇到非文本字节就可能丢码、替换或截断,从而破坏图片格式。
2、二进制 = 无损拷贝

使用 .content 直接拿到 未经任何编码转换的原始字节,写入文件时才能 1:1 还原服务器发来的位图数据。
3、文件系统写图片需要 bytes

open(..., 'wb') 要求写入 bytes 类型;如果误用 text(str 类型),Python 会尝试用默认编码把字符串再编码成字节,结果必然失真。

二进制是保证图片完整性的唯一正确方式。

相关推荐
倔强青铜三4 分钟前
苦练Python第61天:logging模块——让Python日志“有迹可循”的瑞士军刀
人工智能·python·面试
数智顾问5 分钟前
Java坐标转换的多元实现路径:在线调用、百度与高德地图API集成及纯Java代码实现——纯Java代码实现与数学模型深度剖析
java·开发语言
倔强青铜三8 分钟前
苦练Python第60天:json模块——让Python和JSON“无缝互译”的神兵利器
人工智能·python·面试
Ivanqhz11 分钟前
RUST 静态生命周期和动态生命周期
开发语言
孤客网络科技工作室13 分钟前
Python - 100天从新手到大师:第二十七天Python操作PDF文件
开发语言·python·pdf
liaojuajun14 分钟前
可视化地图
开发语言·javascript·ecmascript
l1t15 分钟前
在duckdb 1.4中编译和使用postgresql协议插件duckdb-pgwire
开发语言·数据库·c++·postgresql·插件·duckdb
m0_6525459120 分钟前
10.2总结
c语言·开发语言
悬剑131431 分钟前
python简易程序跑NLPIR模型
python·nlpir
wheeldown37 分钟前
【Leetcode高效算法】用双指针策略打破有效三角形的个数
python·算法·leetcode