python subproces模块

文章目录

• [subprocess 模块概述](#subprocess 模块概述)
• 常用的封装函数
• [Popen 类与灵活控制](#Popen 类与灵活控制)
• [高级用法：`Popen` 对象](#高级用法：Popen 对象)
• 子进程的标准流控制
• 基本用法：`subprocess.run()`
• 处理超时和错误
• 进程间通信：与子进程交互
• 子进程和并发处理
• 示例：批量执行命令并记录日志
• 完整示例：多任务流水线
• 总结

---

在 Python 中，subprocess 模块是用于执行外部命令和子进程管理的强大工具。它不仅能替代旧的 os.system() 和 os.popen() 函数，而且提供了更灵活和强大的控制方式，适合处理输入输出、进程控制等需求。以下是对 subprocess 模块的详解，包括常用方法和丰富的示例。

subprocess 模块概述

在 Python 中运行外部命令时，实际上是创建了一个新进程。subprocess 模块封装了一系列函数来创建和管理子进程，同时提供了多种方式来处理标准输入输出流。它可以用来替代早期的 os.system() 和 os.popen()，让进程间的文本通信和控制更加便捷。

常用的封装函数

1. subprocess.call() ：用于执行命令并等待其完成。返回值为命令的退出码（类似于 Linux 中的 exit code）。
2. subprocess.check_call() ：与 call 类似，但在子进程返回非零退出码时抛出 subprocess.CalledProcessError 异常。
3. subprocess.check_output() ：用于获取子进程的标准输出，返回输出内容。若进程退出码非零，则同样抛出 CalledProcessError 异常。

例如，使用 subprocess.call() 执行 ls -l 命令：

import subprocess

return_code = subprocess.call(["ls", "-l"])
print("Exit Code:", return_code)

Popen 类与灵活控制

subprocess 模块的核心是 Popen 类，通过它可以对子进程进行更细粒度的管理，比如非阻塞运行、管道传输等。Popen 是所有高级函数的底层实现，当我们需要自定义行为时，可以直接使用它。

• Popen 对象创建后 不会自动等待子进程完成。调用 Popen.wait() 可使主进程阻塞，直到子进程结束。
• 多种方法 ：poll() 检查进程状态，kill() 和 terminate() 可终止进程，communicate() 则用于进程间输入输出的交互。

示例：

import subprocess

# 运行 ping 命令并等待完成
child = subprocess.Popen(['ping', '-c', '4', 'google.com'])
print("Parent process running...")
child.wait()
print("Ping completed.")

高级用法：Popen 对象

Popen 提供了更细粒度的控制，允许在不阻塞程序的情况下异步执行命令，还支持通过管道传递数据。以下示例展示了通过管道连接 grep 和 sort 命令：

p1 = subprocess.Popen(['grep', 'pattern', 'file.txt'], stdout=subprocess.PIPE)
p2 = subprocess.Popen(['sort'], stdin=p1.stdout, stdout=subprocess.PIPE)
p1.stdout.close()  # 允许 p1 退出
output, _ = p2.communicate()  # 捕获结果
print(output.decode())

子进程的标准流控制

使用 Popen 时，子进程的 stdin、stdout 和 stderr 可以被重定向或连接成管道。subprocess.PIPE 用于将一个进程的输出作为另一个进程的输入，通过 communicate() 方法与子进程进行交互。

示例：将 ls 的输出传递给 grep 命令进行筛选：

import subprocess

# 通过管道传递输出
p1 = subprocess.Popen(["ls", "-l"], stdout=subprocess.PIPE)
p2 = subprocess.Popen(["grep", "pattern"], stdin=p1.stdout, stdout=subprocess.PIPE)
p1.stdout.close()
output = p2.communicate()[0]
print("Filtered output:\n", output.decode())

基本用法：subprocess.run()

subprocess.run() 是 Python 3.5 引入的更简洁的接口，用于运行命令并等待完成。可以通过 check 参数指定是否在命令失败时报错，通过 capture_output 参数捕获命令的输出。

import subprocess

# 执行简单的命令并返回结果
result = subprocess.run(['ls', '-l'], capture_output=True, text=True)
print("Standard Output:", result.stdout)
print("Standard Error:", result.stderr)
print("Return Code:", result.returncode)

处理超时和错误

subprocess.run() 可以设置超时时间并处理异常。例如：

try:
    result = subprocess.run(['sleep', '10'], timeout=5)
except subprocess.TimeoutExpired:
    print("Command timed out!")

进程间通信：与子进程交互

可以通过 stdin.write() 和 stdout.read() 与子进程交互。例如，以下代码向 Python 子进程输入数据并读取输出：

process = subprocess.Popen(['python3'], stdin=subprocess.PIPE, stdout=subprocess.PIPE, text=True)
output, _ = process.communicate("print('Hello from subprocess')\n")
print("Output from subprocess:", output)

子进程和并发处理

使用多个 Popen 实例可以实现并发处理。例如并发执行两个命令：

p1 = subprocess.Popen(['ping', '-c', '4', 'google.com'])
p2 = subprocess.Popen(['ping', '-c', '4', 'bing.com'])
p1.wait()
p2.wait()

示例：批量执行命令并记录日志

可以使用 subprocess 将输出重定向到日志文件，适合批量处理任务：

with open("output.log", "w") as log_file:
    subprocess.run(['ls', '-l'], stdout=log_file, stderr=subprocess.STDOUT)

完整示例：多任务流水线

以下示例展示如何使用 subprocess 实现复杂的命令流水线，通过 grep、cut 和 sort 来处理数据：

p1 = subprocess.Popen("ps aux | grep python", shell=True, stdout=subprocess.PIPE)
p2 = subprocess.Popen(['cut', '-c', '1-100'], stdin=p1.stdout, stdout=subprocess.PIPE)
p3 = subprocess.Popen(['sort'], stdin=p2.stdout, stdout=subprocess.PIPE)
output, _ = p3.communicate()
print(output.decode())

总结

subprocess 是 Python 中非常灵活的外部命令调用模块，可以满足多种复杂的需求。希望上述内容和示例能帮助理解和掌握 subprocess 的各种用法。