DataWhale夏令营:Task2:建模方案解读与进阶

glob库的要点

glob库主要是方便查找搜索文件而生的,os库主要用来实现文件的基础操作,shutil主要用来实现文件的复制移动操作。

1. 3个通配符

* : 匹配0个或多个字符
**: 匹配所有文件,目录,子目录和子目录里的文件,常搭配recursive=True使用如glob.glob("**/*.txt",recursive=True)返回的就是递归搜索当前目录下的所有的txt文件
?: 匹配一个字符;
[]:匹配指定范围内的字符,如0-9匹配数字,a-z匹配小写字母

2. 3个函数

  • glob.glob():返回符合匹配条件的所有文件的路径list
  • glob.iglob(): i指的是iterator,返回一个迭代器对象,对于大型目录,一次性获取所有匹配的文件列表可能会占用大量内存。在这种情况下,可以使用iglob()函数来进行迭代获取
  • glob.escape():escape可以忽略所有特殊字符-----星号,问号,中括号,用处不大

应用: 在上节YOLO制作数据集时,使用glob进行搜索所有的.mp4文件和.json文件,然后通过sort进行升序排序,通过排序然后结合zip()方法可以轻松将mp4和anno对应起来。

python 复制代码
train_annos = glob.glob('训练集(有标注第一批)/标注/*.json') #返回所的标注文件路径的list
train_videos = glob.glob('训练集(有标注第一批)/视频/*.mp4') #返回所有的视频路径的list
train_annos.sort(); train_videos.sort()

category_labels = ["非机动车违停", "机动车违停", "垃圾桶满溢", "违法经营"]

for anno_path, video_path in zip(train_annos[:5], train_videos[:5]):
    #TODO:保存帧以及对应的标注

Warning库学习

忽略所欲ignore类型的警告信息。

python 复制代码
import warnings 
warnings.filterwarnings('ignore')

数据类型转换

1. json转pandas的DataFrame

如下,json->dataFrame

python 复制代码
anno_df = pd.read_json(anno_path)

2. torch的tensor转为numpy的Ndarray类型

通过.cpu.numpy()将tensor转为Ndarray类型

python 复制代码
       xyxy = boxes.xyxy.data.cpu().numpy().round()
        cls = boxes.cls.data.cpu().numpy().round()
        conf = boxes.conf.data.cpu().numpy()
python 复制代码
        xyxy = boxes.xyxy.data.cpu().numpy().round()
        cls = boxes.cls.data.cpu().numpy().round()
        conf = boxes.conf.data.cpu().numpy()
相关推荐
7177773 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn4 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健4 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道4 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9965 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队6 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术6 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream7 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
学无止境小袁同学7 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
郝学胜-神的一滴7 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib