【Python体验】第五天:目录搜索、数据爬虫(评论区里写作业)

文章目录

目录搜索 os、shutil库

os 模块提供了非常丰富的方法用来处理文件和目录。

os.listdir(path):返回path指定的文件夹包含的文件或文件夹的名字的列表。

os.path 模块:获取文件的属性信息。

os.path.join(path1, path2\[, ...]):把目录和文件名合成一个路径

os.path.isdir(path) :判断路径是否为目录

os.path.isfile(path):判断路径是否为文件

shutil.move(file,target):移动文件

python 复制代码
# 深度优先搜索文件 (目录搜索)

import os # 导入os模块
import shutil # 实现移动文件的功能需要

# path代表待搜索的目录路径,result存储搜索到的文件路径列表
def dfs(path, result):
    child_files = os.listdir(path)
    for child in child_files:
        # 使用join拼接子目录或文件的路径
        child = os.path.join(path, child)
        # 将child保存到result
        result.append(child)
        if os.path.isdir(child):
            dfs(child, result)

files = []
dfs('.', files)

# 遍历files
for file in files:
    print("find %s" %file) #打印搜索到的路径
    if(os.path.isfile(file) and file.endswith('.xlsx')):
        # 移动当前目录下的excel文件到excel目录下
        shutil.move(file, '.\excel')

移动前:

移动后:

数据爬虫 request、re

网页数据爬虫实现了互联网网页自动化下载与自动化解析。通过爬虫,可以下载和分析网页。

python 复制代码
# 网络爬虫

# spider.py:网页下载、链接提取、数据存储
# 查看豆瓣网top250(25页,每页25条)的电影简介地址,换行存入到txt中

import requests
import re

url = "https://movie.douban.com/top250?start="
pageSize = 25
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"
}
# 正则匹配
briefUrl = "https://movie.douban.com/subject/[0-9]+/"
txt = open("douban.txt", "a", encoding="utf-8")

# 爬取10页
for page in range(0, 10):
    resp = requests.get(url + str(page * pageSize), headers=headers)
    resp.encoding = "utf-8"
    # print(resp.text)

    # 通过findall从网页中提取符合briefUrl正则规则的网址
    links = re.findall(briefUrl, resp.text)
    # 去重
    arr = set(links)
    # print(links)
    for l in arr:
        # print(l)
        txt.write(l + "\n")
txt.close()

作业:爬取案例的top250电影的关键信息(名称、类型、日期),并保存在表格中

相关推荐
2601_9679873713 小时前
Python类变量和实例变量(类属性和实例属性)
python·类变量·实例变量·类属性·实例属性
CyrusYiVPP13 小时前
新用户第二周还剩几个?pandas做留存率cohort分析,数据分析实战第6期
人工智能·python
岁月宁静1 天前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
叼烟扛炮1 天前
[LangChain] 学习笔记(09):工具(Tool)定义与调用闭环 · 理论+实战完整版
笔记·学习·langchain
个 人 练 习 生1 天前
C++:从零基础到深入了解vector的使用
开发语言·c++·经验分享·学习·程序人生·stl
梯度下降者1 天前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
Rabitebla1 天前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
starzy19901 天前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
wuyk5551 天前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
旖旎夜光1 天前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针