①首先登录进入某云算力平台,申请资源,打开交互式界面
②上传自己的项目文件在/home/u********/路径下(数据文件放到my_files/records这个文件夹,),并在其中单独新建一个文件夹用于保存项目文件
③然后进入终端,创建虚拟环境,并为对应的虚拟环境下载合适的Python解释器版本,然后激活该环境,cd到对应项目文件夹中,运行和安装相应的依赖包即可
整个流程需要用到的指令代码:
python# 在 Terminal 执行 conda create -n proj python=3.10 ipykernel -y source activate proj # 激活 pip install -U "magic-pdf[full]" --extra-index-url https://wheels.myhloli.com cd /home/u*******/ conda install 相应的依赖包 加镜像链接 python 相应文件.py #运行对应的py文件 # 由于会出现其mineru指令不存在的问题 pip install -U "mineru[core]" mineru --help wget https://github.com/opendatalab/MinerU/raw/master/scripts/download_models_hf.py -o download_models_hf.py最新使用的是处理PDF转json的项目,项目位于数据分析3这个资源下,其项目为M开头的。
这个项目需要安装一个国内镜像加速下载的库(pip install huggingface_hub)否则容易报错,并且考虑到一条条输入指令的麻烦性,写了一个自动指令输入的指令代码:
最终直接运行这个python文件即可
pythonimport os import subprocess def simple_batch(): """最简单的批量处理 - 直接在终端显示命令和输出""" input_folder = "/home/u*********/M**********/my_file/records/" output_base = "/home/u********/M***********/output/" # 获取所有PDF文件 pdf_files = [f for f in os.listdir(input_folder) if f.lower().endswith('.pdf')] if not pdf_files: print("❌ 未找到PDF文件") return print(f"📁 找到 {len(pdf_files)} 个PDF文件\n") for i, pdf_file in enumerate(pdf_files, 1): input_path = os.path.join(input_folder, pdf_file) output_path = os.path.join(output_base, pdf_file.replace('.pdf', '')) # 构建命令 cmd = f'm***** -p "{input_path}" -o "{output_path}"' print(f"🚀 执行命令 [{i}/{len(pdf_files)}]:") print(f" {cmd}") print("-" * 80) # 直接执行,输出到终端 return_code = subprocess.call(cmd, shell=True) if return_code == 0: print("✅ 完成\n") else: print(f"❌ 失败 (返回码: {return_code})\n") if __name__ == "__main__": simple_batch()
使用某云超算平台Jupyterlab的使用方法(自用)
爱吃泡芙的小白白2025-11-22 16:23
相关推荐
ι:2 小时前
MATLAB 与 Python 搭建无人机地面站:优势、劣势与选型逻辑这个DBA有点耶2 小时前
数据库一体机架构演进:从硬件堆叠到软硬深度耦合船厂电气自动化ai大模型2 小时前
AI大模型与数学 第32课 函数凹凸性与二阶导数:拐点求解、凹凸区间计算(10道二阶导数计算题)jufeng13072 小时前
【系列:手搓自主 AI Agent:Hermes 架构原理剖析 · 第 7 篇】梦想很大很大2 小时前
如果有一个本地优先的 Workflow 工具,你们团队会愿意用吗?Elastic 中国社区官方博客2 小时前
Elasticsearch:使用 AI Agent 来创建 workflow测试运维日常笔记2 小时前
Linux系统安装配置TigerVNC服务器完整指南像风一样自由20202 小时前
加强版VScode结合remote-ssh远程连接服务器开发指南用户8356290780513 小时前
Python 自动化 Word 文本框处理:创建、定位、填充内容与管理喜欢的名字被抢了3 小时前
程序出问题怎么查,以及如何让它不掉线