在node项目中执行python脚本

参考 参考

一、环境配置:

Windows + PowerShell 命令:

  1. 在node项目中新建python文件夹,以及子文件夹scripts用于放置python脚本
  2. 创建虚拟环境 cd python -> python -m venv venv
  3. 进入虚拟环境并install脚本中的依赖:venv\Scripts\Activate.ps1 -> 单个安装 pip install pandas
  4. 不要把 venv 提交到 git
js 复制代码
// .gitignore
python/venv/
__pycache__/
*.pyc

✔ 只提交依赖清单

执行:pip freeze > requirements.txt 提交这个文件即可

✔ 服务器部署时重新创建环境

python -m venv venv

pip install -r requirements.txt

二、运行python脚本:

方法一:用spawn 子进程通信:(不建议)

缺点:频繁 spawn 会很慢,stdout 容易污染

注意:

  • 绝对路径的拼接,以及脚本里如果有读取文件代码时的文件路径
  • Python脚本里不能随便 print,因为node必须自己保证输出是 JSON
js 复制代码
const { spawn } = require("child_process");
const path = require("path");
const rootPath = path.resolve(__dirname, "..");
// 1️⃣ 定位 Python 解释器路径:E:\node\xxx\python\venv\Scripts\python.exe
const pythonPath = path.join(
  rootPath,
  "python",
  "venv",
  "Scripts",
  "python.exe",
);
// 2️⃣ 定位 Python 脚本路径:E:\node\xxx\python\scripts\test.py
const scriptPath = path.join(
  rootPath,
  "python",
  "scripts",
  "test.py",
);
// 🔐 全局执行锁
let isRunning = false;

// 注意脚本文件里访问文件时的路径,要用绝对路径
exports.get_info = (req, res) => {
  if (isRunning) {
    return res.send({
      status: 429,
      message: "任务正在执行中,请稍后再试",
    });
  }

  isRunning = true;

  // 第二个参数是数组,表示执行哪个脚本,和传给 Python 的参数
  const py = spawn(pythonPath, [scriptPath]);

  let error = "";

  py.stderr.on("data", (data) => {
    error += data.toString();
  });

  py.on("error", (err) => {
    console.error("启动失败:", err);
    isRunning = false;
    return res.send({
      status: 500,
      message: "Python 启动失败",
      error: err.message,
    });
  });
  // 超时杀进程
  const timeout = setTimeout(() => {
    py.kill("SIGTERM");
  }, 300000); // 300秒超时

  py.on("close", (code) => {
    clearTimeout(timeout);
    isRunning = false;
    if (code === 0) {
      return res.send({
        status: 200,
        message: "Python脚本执行成功",
      });
    }

    console.error("Python执行错误:", error);

    return res.send({
      status: 500,
      message: "Python执行失败",
      error: error || "未知错误",
    });
  });
};

每个请求都 spawn 一个 Python 进程,如果接口被并发打(比如前端连点多次请求、或者有压测),就会同时起多个 python.exe 导致内存瞬间爆掉,所以这里限制了单进程:

①在脚本test.py里强制限制线程,放在所有import之前

js 复制代码
import os
os.environ["OPENBLAS_NUM_THREADS"] = "1"
os.environ["OMP_NUM_THREADS"] = "1"
os.environ["MKL_NUM_THREADS"] = "1"

②加单进程锁(不允许并发执行),以及加超时杀进程(防卡死)

同一时间只执行一个 Python 脚本,后面的请求直接拒绝,在"单进程 + spawn 模式"下,只要 Python 进程正常退出,内存会被系统回收。

方法二:使用FastAPI(推荐)

用 Python 起一个 API 服务,Node 通过 HTTP 调用,稳定性最高,避免:spawn 死锁、buffer 溢出、JSON污染

🌟 Step1:进入虚拟环境安装 FastAPI 和 uvicorn

js 复制代码
cd python 
venv\Scripts\Activate.ps1
pip install fastapi "uvicorn[standard]"

🌟 Step2:Python 起 API 服务,新建入口文件 api_server.py

python 复制代码
# api_server.py 
import os
from fastapi import FastAPI
import sys

# 关键:让 python 能识别 scripts 目录
BASE_DIR = os.path.dirname(os.path.abspath(__file__))
sys.path.append(BASE_DIR)
# 从 scripts 引入
from scripts.test import get_test_info   

app = FastAPI()
# 注册路由:
@app.get("/aaa/bbb")
async def ccc():
    result = await get_test_info()
    return result

🌟 Step3:把脚本文件改成接口驱动模式的函数写法

比如异步任务时 if __name__ == "__main__": 改成async 函数 async def get_test_info(): 并return json:

js 复制代码
return {
    "status": 200,
    "file": result_file
}

注意:FastAPI 本身已经运行在事件循环里,不能在脚本文件里 asyncio.run()

🌟 Step4:在不同端口启动这个 FastAPI 应用实例:uvicorn api_server:app --host 0.0.0.0 --port 8000 --reload

🌟 Step5:不再 spawn,改成 axios 请求:

js 复制代码
const axios = require("axios");
// 全局执行锁
let isRunning = false;

// 注意脚本文件里访问文件时的路径,要用绝对路径
exports.get_info = async (req, res) => {
  if (isRunning) {
    return res.send({
      status: 429,
      message: "任务正在执行中,请稍后再试",
    });
  }

  isRunning = true;

  try {
    const response = await axios.get(
      "http://127.0.0.1:8000/aaa/bbb",
      {
        timeout: 300000, // 5分钟超时
      }
    );

    isRunning = false;
    
    return res.send({
      status: 200,
      message: "Python脚本执行成功",
      data: response.data,
    });
  } catch (error) {
    isRunning = false;

    return res.send({
      status: 500,
      message: "FastAPI调用失败",
      error: error.message,
    });
  }
};
相关推荐
deli0072 小时前
锁过期了业务还没跑完:SETNX 分布式锁 1000 次并发实测
前端
承渊政道2 小时前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
不一样的少年_2 小时前
用了这 Skill,我觉得前端兄弟可以毕业了
前端·后端·agent
FRing032 小时前
vue2干货总结10(json-server、vant-ui、postcss插件、axios二次封装、图形验证码、toast轻提示)
开发语言·前端·vue.js·ui·json·vue2·postcss
梦想很大很大3 小时前
一句“你好”用了 5671 Token:我在 Workrun 中追查 Agent 隐性成本的过程
前端·人工智能·后端
SameX3 小时前
HarmonyOS ArkTS 做动画 FPS 自适应降级的滞后窗口做法
前端
用户97887605390483 小时前
Canvas 处理大图时如何不卡住主线程:一次浏览器端批量压缩的调度实践
前端
鶴哥只手遮天3 小时前
# 《Electron 45.2.3 内核解剖》第 6 章 Node.js 集成:两个事件循环的婚姻
前端·electron·开源
bai2733 小时前
别再手动刷后台了:用原生 CDP 给 4 个内容平台做登录态保活心跳
前端
工程小白菜3 小时前
AI 生成的代码谁来验收?从 Copilot 到 WorkBuddy 的三个实践
前端·ai编程