【问题解决】Label Studio上传文件数量超限解决方案

文章目录

  • 问题背景
  • 解决方法
    • [一、 使用外部存储同步](#一、 使用外部存储同步)
      • [1、 准备图片目录](#1、 准备图片目录)
      • [2、 配置Label Studio环境](#2、 配置Label Studio环境)
      • [3、在Label Studio界面中连接存储](#3、在Label Studio界面中连接存储)
    • 二、调整上传限制(备选方案)

问题背景

在Python环境中使用Label Studio,并且有8000张图片需要处理,遇到了上传限制的问题。这个问题的核心是Label Studio的默认设置无法单次处理这么多文件。

解决方法

一、 使用外部存储同步

这是处理大量数据的标准方法。它的原理是不通过浏览器上传,而是让Label Studio直接从一个你指定的本地文件夹里读取图片。

步骤如下:

1、 准备图片目录

将你的8000张图片集中放在一个文件夹里,例如 D:/my_labeling_project/images

2、 配置Label Studio环境

在于启动Label Studio前,设置两个环境变量。

  • LABEL_STUDIO_LOCAL_FILES_SERVING_ENABLED=true:启用本地文件服务。

  • LABEL_STUDIO_LOCAL_FILES_DOCUMENT_ROOT:指定你图片文件夹的上一级或上两级路径 。如:D:/

    # 这里路径指定数据目录的上一级,这样导入其他数据的时候不用重新指定,直接将新数据放在和该数据路径平级的位置即可

在启动你的Python环境(如Jupyter Notebook)或运行Python脚本之前,在终端中执行以下命令:

在Windows命令提示符中:

plain 复制代码
set LABEL_STUDIO_LOCAL_FILES_SERVING_ENABLED=true
set LABEL_STUDIO_LOCAL_FILES_DOCUMENT_ROOT=D:/

在Linux/macOS的终端中:

bash 复制代码
export LABEL_STUDIO_LOCAL_FILES_SERVING_ENABLED=true
export LABEL_STUDIO_LOCAL_FILES_DOCUMENT_ROOT=/my_labeling_project 

设置完毕后,再启动初始化Label Studio。

plain 复制代码
label-studio start

3、在Label Studio界面中连接存储

  • 新建项目,进入你的项目,点击 Settings > Cloud Storage

  • 点击 Add Source Storage ,选择 Local Files

  • 在配置页面中,Absolute local path 一栏填写数据所在文件夹的完整路径(例如 D:\my_labeling_project\images)。点击 Check Connection 测试连接,成功后会变成Connection Verified ,链接失败则可能是路径填写错误。
  • 之后点击next, 选择Import Method为导入的文件类型Files ,FileName filter 这里选择文件后缀,我们导入图片,因此选择Images。之后点击【Load Preview】,自动查找对应的文件类型。

  1. 数据预览加载结果:之后点击next。
  • 同步数据 :添加成功后,点击 Safe&Sync 按钮进行同步。同步时,建议不要进行数据标注操作 ,因为这可能会导致同步中断。

导入结果:

二、调整上传限制(备选方案)

如果外部存储方案遇到困难,你也可以尝试直接修改上传限制。

  1. 找到配置文件 :这通常是位于Label Studio配置目录下的 settings.py 文件。

  2. 修改参数:在配置文件中找到并修改以下参数:

    python 复制代码
    # 提高单次上传文件数量的上限
    DATA_UPLOAD_MAX_NUMBER_FILES = 10000  # 设置为一个大于8000的值
    
    #或者在Windows命令提示符中:
    set DATA_UPLOAD_MAX_NUMBER_FILES = 10000  # 设置为一个大于8000的值
  1. 重启服务 :修改配置后,务必重启Label Studio服务 才能使更改生效。
相关推荐
思绪无限6 小时前
YOLOv5至YOLOv12升级:木材表面缺陷检测系统的设计与实现(完整代码+界面+数据集项目)
人工智能·深度学习·目标检测·计算机视觉·木材表面缺陷检测
kishu_iOS&AI6 小时前
深度学习 —— 损失函数
人工智能·pytorch·python·深度学习·线性回归
好运的阿财7 小时前
OpenClaw工具拆解之canvas+message
人工智能·python·ai编程·openclaw·openclaw工具
wengqidaifeng7 小时前
python启航:1.基础语法知识
开发语言·python
观北海7 小时前
Windows 平台 Python 极简 ORB-SLAM3 Demo,从零实现实时视觉定位
开发语言·python·动态规划
FreakStudio7 小时前
做了个Claude Code CLI 电子宠物:程序员的实体监工代码搭子
python·单片机·嵌入式·面向对象·并行计算·电子diy·电子计算机
柴米油盐那点事儿7 小时前
python+mysql+bootstrap条件搜索分页
python·mysql·flask·bootstrap
AC赳赳老秦8 小时前
OpenClaw二次开发实战:编写专属办公自动化技能,适配个性化需求
linux·javascript·人工智能·python·django·测试用例·openclaw
Ulyanov8 小时前
《PySide6 GUI开发指南:QML核心与实践》 第二篇:QML语法精要——构建声明式UI的基础
java·开发语言·javascript·python·ui·gui·雷达电子对抗系统仿真
刀法如飞9 小时前
一款Python语言Django框架DDD脚手架,助你快速搭建项目
python·ddd·脚手架