【python爬虫】—图片爬取

图片爬取

需求分析

Python实现

  • 获取待爬取网页
python 复制代码
def get_htmls(pages=list(range(2, 5))):
    """获取待爬取网页"""
    pages_list = []
    for page in pages:
        url = f"https://pic.netbian.com/4kfengjing/index_{page}.html"
        response = requests.get(url)
        response.encoding = 'gbk'
        pages_list.append(response.text)
    return pages_list
get_htmls(pages=list(range(2, 5)))
  • 获取所有图片,并下载
python 复制代码
def get_picturs(htmls):
    """获取所有图片,并下载"""
    for html in htmls:
        soup = BeautifulSoup(html, 'html.parser')
        pic_li = soup.find('div', id='main').find('div', class_='slist').find('ul', class_='clearfix')
        image_path = pic_li.find_all('img')
        for file in image_path:
            pic_name = './practice05/' + file['alt'].replace(" ",'_') + '.jpg'
            src = file['src']
            src = f"https://pic.netbian.com/{src}"

            response = requests.get(src)

            with open(pic_name, 'wb') as f:
                f.write(response.content)
                print("图片已下载并保存为:{}".format(pic_name))
                
htmls = get_htmls(pages=list(range(2, 5)))
get_picturs(htmls)
  • 爬取结果展示

相关推荐
Nelson_hehe几秒前
贪吃蛇小游戏-简单开发版
python·小游戏·pygame·贪吃蛇
微刻时光32 分钟前
影刀RPA结合Pandas的优势
python·信息可视化·pandas·rpa·影刀rpa·影刀证书·影刀实战
莫非技术栈1 小时前
用Python和Pygame实现打砖块游戏
python·游戏·pygame
GIS思维1 小时前
AI辅助编程!DeepSeek vs ChatGPT- AI在地图网络分析(最佳路径)上的应用
人工智能·python·chatgpt·arcgis pro·deepseek
大模型铲屎官1 小时前
什么是机器学习?从零基础到自动驾驶案例全解析
人工智能·pytorch·python·深度学习·机器学习·自动驾驶·machine learning
灏瀚星空1 小时前
Python JSON模块详解:从入门到高级应用
开发语言·经验分享·笔记·python·json
莓事哒1 小时前
如何用正则表达式爬取古诗文网中的数据(python爬虫)
爬虫·python·pycharm
TANGLONG2222 小时前
【C++】STL全面简介与string类的使用(万字解析)
java·c语言·开发语言·c++·python·面试·蓝桥杯
coderZT2 小时前
Django REST Framework 中 ModelViewSet 的接口方法及参数详解,继承的方法和核心类方法,常用查询方法接口
后端·python·django
baiyu332 小时前
成为Python砖家(7): 使用miniforge管理Python版本
开发语言·python