CMake 学习笔记（访问Python）

CMake 学习笔记（访问Python）

利用Python可以做很多事情。比如：

1. 利用 Python 自动生成一些代码。

2. 在我们的程序中植入一个 Python 解释器。

为了做这些事情。就需要 CMake 能够知道 python 装在哪里，装的是什么版本的 python，装了哪些包。是否安装了Python 相关的库。

下面就依次介绍如何实现这些功能。最核心的知识就是学会如何使用 find_package( ) 命令。

检测 Python 解释器

下面是个简单的例子。

cmake_minimum_required(VERSION 3.5 FATAL_ERROR)
project(recipe-01 LANGUAGES NONE)
find_package(PythonInterp REQUIRED)
execute_process(
    COMMAND
    	${PYTHON_EXECUTABLE} "-c" "print('Hello, world!')"
    RESULT_VARIABLE _status
    OUTPUT_VARIABLE _hello_world
    ERROR_QUIET
    OUTPUT_STRIP_TRAILING_WHITESPACE
)
message(STATUS "RESULT_VARIABLE is: ${_status}")
message(STATUS "OUTPUT_VARIABLE is: ${_hello_world}")

# compare the "manual" messages with the following handy helper
include(CMakePrintHelpers)
cmake_print_variables(_status _hello_world)

上面的代码最核心的有两句。find_package 用来查找 python。

find_package(PythonInterp REQUIRED)

如果需要指定 python 版本。可以像下面这样，下面的代码要求Python 版本不低于 3.5：

find_package(PythonInterp 3.5 REQUIRED)

如果要求Python 版本必须是某一个特定版本。可以像下面这样写：

find_package(PythonLibs 3.11.5 EXACT REQUIRED)

上面的代码要求python 的版本必须是3.11.5。find_package() 执行完后会自动生成一系列的变量，我们可以在后面的代码中使用这些变量。

• PYTHONINTERP_FOUND, 布尔变量，记录是否找到 python 解释器
• PYTHON_EXECUTABLE, python 解释器的路径
• PYTHON_VERSION_STRING, python 的版本
• PYTHON_VERSION_MAJOR, python 的主版本号
• PYTHON_VERSION_MINOR, python 的副版本号
• PYTHON_VERSION_PATCH, python 的版本修订号

另外需要掌握的是 execute_process()。 用这个命令可以调用 python ，执行一段特殊的程序。通常我们是利用 python 生成一段源代码。之所以用 python 生成代码。是因为可以利用 python 对当前系统做很多探测，根据系统的情况生成最适合的代码。或者我们的代码里有很多重复的地方。用python可以快速生成这些重复的代码。

总之，用上面的类似的方法，我们可以调用任意一段 python 程序，做我们想做的任意事情。

如果python 安装到了 cmake 无法自动检测到的位置，我们可以通过命令行告诉cmake 去哪里找 python:

cmake -D PYTHON_EXECUTABLE=/custom/location/python

检测 Python 库

第二种使用 python 的方法是在我们的程序中直接调用 python 。下面是一个简单的程序：

#include <Python.h>
int main(int argc, char *argv[]) 
{
    Py_SetProgramName(argv[0]); /* optional but recommended */
    Py_Initialize();
    PyRun_SimpleString("from time import time,ctime\n"
    "print 'Today is',ctime(time())\n");
    Py_Finalize();
    return 0;
}

我们要编译这个程序。

cmake_minimum_required(VERSION 3.5 FATAL_ERROR)
project(recipe-02 LANGUAGES C)
set(CMAKE_C_STANDARD 99)
set(CMAKE_C_EXTENSIONS OFF)
set(CMAKE_C_STANDARD_REQUIRED ON)
find_package(PythonInterp REQUIRED)
find_package(PythonLibs ${PYTHON_VERSION_MAJOR}.${PYTHON_VERSION_MINOR} EXACT REQUIRED)
add_executable(hello-embedded-python hello-embedded-python.c)

target_include_directories(hello-embedded-python
PRIVATE
${PYTHON_INCLUDE_DIRS}
)

target_link_libraries(hello-embedded-python
PRIVATE
${PYTHON_LIBRARIES}
)

在我的电脑上运行的结果是这样的：

Could not find platform independent libraries <prefix>
Today is Tue May  7 08:51:16 2024

第一行是因为我没有设置环境变量，这个程序找不到我电脑里的python。但是这个并不影响程序运行。

检测 Python 包

下面是个更复杂的代码。里面调用了 Python 的包。为了能编译运行这个代码，需要cmake 检测我们的 python 是否安装了对应的包。

/*
 * Code example from:
 *    https://docs.python.org/3.5/extending/embedding.html#pure-embedding
 */

#include <Python.h>

int main(int argc, char *argv[]) {
  PyObject *pName, *pModule, *pDict, *pFunc;
  PyObject *pArgs, *pValue;
  int i;

  if (argc < 3) {
    fprintf(stderr, "Usage: pure-embedding pythonfile funcname [args]\n");
    return 1;
  }

  Py_Initialize();

  PyRun_SimpleString("import sys");
  PyRun_SimpleString("sys.path.append(\".\")");

  pName = PyUnicode_DecodeFSDefault(argv[1]);
  /* Error checking of pName left out */

  pModule = PyImport_Import(pName);
  Py_DECREF(pName);

  if (pModule != NULL) {
    pFunc = PyObject_GetAttrString(pModule, argv[2]);
    /* pFunc is a new reference */

    if (pFunc && PyCallable_Check(pFunc)) {
      pArgs = PyTuple_New(argc - 3);
      for (i = 0; i < argc - 3; ++i) {
        pValue = PyLong_FromLong(atoi(argv[i + 3]));
        if (!pValue) {
          Py_DECREF(pArgs);
          Py_DECREF(pModule);
          fprintf(stderr, "Cannot convert argument\n");
          return 1;
        }
        /* pValue reference stolen here: */
        PyTuple_SetItem(pArgs, i, pValue);
      }
      pValue = PyObject_CallObject(pFunc, pArgs);
      Py_DECREF(pArgs);
      if (pValue != NULL) {
        printf("Result of call: %ld\n", PyLong_AsLong(pValue));
        Py_DECREF(pValue);
      } else {
        Py_DECREF(pFunc);
        Py_DECREF(pModule);
        PyErr_Print();
        fprintf(stderr, "Call failed\n");
        return 1;
      }
    } else {
      if (PyErr_Occurred())
        PyErr_Print();
      fprintf(stderr, "Cannot find function \"%s\"\n", argv[2]);
    }
    Py_XDECREF(pFunc);
    Py_DECREF(pModule);
  } else {
    PyErr_Print();
    fprintf(stderr, "Failed to load \"%s\"\n", argv[1]);
    return 1;
  }
  Py_Finalize();
  return 0;
}

我们的这个程序还要调用一段 python 代码：

import numpy as np
def print_ones(rows, cols):
A = np.ones(shape=(rows, cols), dtype=float)
print(A)
# we return the number of elements to verify
# that the C++ code is able to receive return values
num_elements = rows*cols
return(num_elements)

cmake 文件前部分还是一样的：

cmake_minimum_required(VERSION 3.5 FATAL_ERROR)
project(recipe-03 LANGUAGES CXX)
set(CMAKE_CXX_STANDARD 11)
set(CMAKE_CXX_EXTENSIONS OFF)
set(CMAKE_CXX_STANDARD_REQUIRED ON)
find_package(PythonInterp REQUIRED)
find_package(PythonLibs ${PYTHON_VERSION_MAJOR}.${PYTHON_VERSION_MINOR} EXACT REQUIRED)

后面的部分就不同了。首先要检测有没有安装 numpy:

# Find NumPy location
execute_process(
  COMMAND
    ${PYTHON_EXECUTABLE} "-c" "import re, numpy; print(re.compile('/__init__.py.*').sub('',numpy.__file__))"
  RESULT_VARIABLE _numpy_status
  OUTPUT_VARIABLE _numpy_location
  ERROR_QUIET
  OUTPUT_STRIP_TRAILING_WHITESPACE
  )
if(NOT _numpy_status)
  set(NumPy ${_numpy_location} CACHE STRING "Location of NumPy")
endif()

# Find NumPy version
execute_process(
  COMMAND
    ${PYTHON_EXECUTABLE} "-c" "import numpy; print(numpy.__version__)"
  OUTPUT_VARIABLE _numpy_version
  ERROR_QUIET
  OUTPUT_STRIP_TRAILING_WHITESPACE
  )

include(FindPackageHandleStandardArgs)
find_package_handle_standard_args(NumPy
  FOUND_VAR NumPy_FOUND
  REQUIRED_VARS NumPy
  VERSION_VAR _numpy_version
  )

这一段代码主要有2部分组成。首先是判断有没有安装 numpy，代码如下。

execute_process(
  COMMAND
    ${PYTHON_EXECUTABLE} "-c" "import re, numpy; print(re.compile('/__init__.py.*').sub('',numpy.__file__))"
  RESULT_VARIABLE _numpy_status
  OUTPUT_VARIABLE _numpy_location
  ERROR_QUIET
  OUTPUT_STRIP_TRAILING_WHITESPACE
  )
  if(NOT _numpy_status)
  set(NumPy ${_numpy_location} CACHE STRING "Location of NumPy")
endif()

如果找到了numpy， _numpy_status = 0。 所以后面的判断条件是 if(NOT _numpy_status) 。

找到 numpy 后，将numpy 的位置保存到一个变量 NumPy 中，并且这个 变量是 CACHE 的，也就是后面用户可以自己编辑这个变量的值。

然后是检测 numpy 的版本：

# Find NumPy version
execute_process(
  COMMAND
    ${PYTHON_EXECUTABLE} "-c" "import numpy; print(numpy.__version__)"
  OUTPUT_VARIABLE _numpy_version
  ERROR_QUIET
  OUTPUT_STRIP_TRAILING_WHITESPACE
  )

版本号保存到 _numpy_version 这个变量中。然后用 FindPackageHandleStandardArgs 这个包的功能设置 NumPy_FOUND 变量。这里使用FindPackageHandleStandardArgs 的目的其实只有一个，就是当 NumPy 没找到时，cmake 可以抱错并停下来。

include(FindPackageHandleStandardArgs)
find_package_handle_standard_args(NumPy
FOUND_VAR NumPy_FOUND
REQUIRED_VARS NumPy
VERSION_VAR _numpy_version
)

后面如何编译exe文件，这里也用了些技巧，比如用到了 PYTHON_VERSION_MAJOR：

add_executable(pure-embedding "")
target_sources(pure-embedding
PRIVATE
Py${PYTHON_VERSION_MAJOR}-pure-embedding.cpp
)
target_include_directories(pure-embedding
PRIVATE
${PYTHON_INCLUDE_DIRS}
)
target_link_libraries(pure-embedding
PRIVATE
${PYTHON_LIBRARIES}
)

还有最后一部分，我们要把 use_numpy.py 文件拷贝到 exe 所在目录，因为我们的程序要调用这个文件：

add_custom_command(
  OUTPUT
    ${CMAKE_CURRENT_BINARY_DIR}/use_numpy.py
  COMMAND
    ${CMAKE_COMMAND} -E copy_if_different ${CMAKE_CURRENT_SOURCE_DIR}/use_numpy.py
                                          ${CMAKE_CURRENT_BINARY_DIR}/use_numpy.py
  DEPENDS
    ${CMAKE_CURRENT_SOURCE_DIR}/use_numpy.py
  )

# make sure building pure-embedding triggers the above
# custom command
target_sources(pure-embedding
  PRIVATE
    ${CMAKE_CURRENT_BINARY_DIR}/use_numpy.py
  )

编译生成 pure-embedding.exe 后可以试着运行一下。

./pure-embedding use_numpy print_ones 2 3

结果如下：

[[1. 1. 1.]
[1. 1. 1.]]
Result of call: 6