CMake 学习笔记(访问Python)
利用Python可以做很多事情。比如:
-
利用 Python 自动生成一些代码。
-
在我们的程序中植入一个 Python 解释器。
为了做这些事情。就需要 CMake 能够知道 python 装在哪里,装的是什么版本的 python,装了哪些包。是否安装了Python 相关的库。
下面就依次介绍如何实现这些功能。最核心的知识就是学会如何使用 find_package( ) 命令。
检测 Python 解释器
下面是个简单的例子。
cmake
cmake_minimum_required(VERSION 3.5 FATAL_ERROR)
project(recipe-01 LANGUAGES NONE)
find_package(PythonInterp REQUIRED)
execute_process(
COMMAND
${PYTHON_EXECUTABLE} "-c" "print('Hello, world!')"
RESULT_VARIABLE _status
OUTPUT_VARIABLE _hello_world
ERROR_QUIET
OUTPUT_STRIP_TRAILING_WHITESPACE
)
message(STATUS "RESULT_VARIABLE is: ${_status}")
message(STATUS "OUTPUT_VARIABLE is: ${_hello_world}")
# compare the "manual" messages with the following handy helper
include(CMakePrintHelpers)
cmake_print_variables(_status _hello_world)
上面的代码最核心的有两句。find_package 用来查找 python。
cmake
find_package(PythonInterp REQUIRED)
如果需要指定 python 版本。可以像下面这样,下面的代码要求Python 版本不低于 3.5:
cmake
find_package(PythonInterp 3.5 REQUIRED)
如果要求Python 版本必须是某一个特定版本。可以像下面这样写:
cmake
find_package(PythonLibs 3.11.5 EXACT REQUIRED)
上面的代码要求python 的版本必须是3.11.5。find_package() 执行完后会自动生成一系列的变量,我们可以在后面的代码中使用这些变量。
- PYTHONINTERP_FOUND, 布尔变量,记录是否找到 python 解释器
- PYTHON_EXECUTABLE, python 解释器的路径
- PYTHON_VERSION_STRING, python 的版本
- PYTHON_VERSION_MAJOR, python 的主版本号
- PYTHON_VERSION_MINOR, python 的副版本号
- PYTHON_VERSION_PATCH, python 的版本修订号
另外需要掌握的是 execute_process()。 用这个命令可以调用 python ,执行一段特殊的程序。通常我们是利用 python 生成一段源代码。之所以用 python 生成代码。是因为可以利用 python 对当前系统做很多探测,根据系统的情况生成最适合的代码。或者我们的代码里有很多重复的地方。用python可以快速生成这些重复的代码。
总之,用上面的类似的方法,我们可以调用任意一段 python 程序,做我们想做的任意事情。
如果python 安装到了 cmake 无法自动检测到的位置,我们可以通过命令行告诉cmake 去哪里找 python:
powershell
cmake -D PYTHON_EXECUTABLE=/custom/location/python
检测 Python 库
第二种使用 python 的方法是在我们的程序中直接调用 python 。下面是一个简单的程序:
c
#include <Python.h>
int main(int argc, char *argv[])
{
Py_SetProgramName(argv[0]); /* optional but recommended */
Py_Initialize();
PyRun_SimpleString("from time import time,ctime\n"
"print 'Today is',ctime(time())\n");
Py_Finalize();
return 0;
}
我们要编译这个程序。
cmake
cmake_minimum_required(VERSION 3.5 FATAL_ERROR)
project(recipe-02 LANGUAGES C)
set(CMAKE_C_STANDARD 99)
set(CMAKE_C_EXTENSIONS OFF)
set(CMAKE_C_STANDARD_REQUIRED ON)
find_package(PythonInterp REQUIRED)
find_package(PythonLibs ${PYTHON_VERSION_MAJOR}.${PYTHON_VERSION_MINOR} EXACT REQUIRED)
add_executable(hello-embedded-python hello-embedded-python.c)
target_include_directories(hello-embedded-python
PRIVATE
${PYTHON_INCLUDE_DIRS}
)
target_link_libraries(hello-embedded-python
PRIVATE
${PYTHON_LIBRARIES}
)
在我的电脑上运行的结果是这样的:
Could not find platform independent libraries <prefix>
Today is Tue May 7 08:51:16 2024
第一行是因为我没有设置环境变量,这个程序找不到我电脑里的python。但是这个并不影响程序运行。
检测 Python 包
下面是个更复杂的代码。里面调用了 Python 的包。为了能编译运行这个代码,需要cmake 检测我们的 python 是否安装了对应的包。
C++
/*
* Code example from:
* https://docs.python.org/3.5/extending/embedding.html#pure-embedding
*/
#include <Python.h>
int main(int argc, char *argv[]) {
PyObject *pName, *pModule, *pDict, *pFunc;
PyObject *pArgs, *pValue;
int i;
if (argc < 3) {
fprintf(stderr, "Usage: pure-embedding pythonfile funcname [args]\n");
return 1;
}
Py_Initialize();
PyRun_SimpleString("import sys");
PyRun_SimpleString("sys.path.append(\".\")");
pName = PyUnicode_DecodeFSDefault(argv[1]);
/* Error checking of pName left out */
pModule = PyImport_Import(pName);
Py_DECREF(pName);
if (pModule != NULL) {
pFunc = PyObject_GetAttrString(pModule, argv[2]);
/* pFunc is a new reference */
if (pFunc && PyCallable_Check(pFunc)) {
pArgs = PyTuple_New(argc - 3);
for (i = 0; i < argc - 3; ++i) {
pValue = PyLong_FromLong(atoi(argv[i + 3]));
if (!pValue) {
Py_DECREF(pArgs);
Py_DECREF(pModule);
fprintf(stderr, "Cannot convert argument\n");
return 1;
}
/* pValue reference stolen here: */
PyTuple_SetItem(pArgs, i, pValue);
}
pValue = PyObject_CallObject(pFunc, pArgs);
Py_DECREF(pArgs);
if (pValue != NULL) {
printf("Result of call: %ld\n", PyLong_AsLong(pValue));
Py_DECREF(pValue);
} else {
Py_DECREF(pFunc);
Py_DECREF(pModule);
PyErr_Print();
fprintf(stderr, "Call failed\n");
return 1;
}
} else {
if (PyErr_Occurred())
PyErr_Print();
fprintf(stderr, "Cannot find function \"%s\"\n", argv[2]);
}
Py_XDECREF(pFunc);
Py_DECREF(pModule);
} else {
PyErr_Print();
fprintf(stderr, "Failed to load \"%s\"\n", argv[1]);
return 1;
}
Py_Finalize();
return 0;
}
我们的这个程序还要调用一段 python 代码:
python
import numpy as np
def print_ones(rows, cols):
A = np.ones(shape=(rows, cols), dtype=float)
print(A)
# we return the number of elements to verify
# that the C++ code is able to receive return values
num_elements = rows*cols
return(num_elements)
cmake 文件前部分还是一样的:
cmake
cmake_minimum_required(VERSION 3.5 FATAL_ERROR)
project(recipe-03 LANGUAGES CXX)
set(CMAKE_CXX_STANDARD 11)
set(CMAKE_CXX_EXTENSIONS OFF)
set(CMAKE_CXX_STANDARD_REQUIRED ON)
find_package(PythonInterp REQUIRED)
find_package(PythonLibs ${PYTHON_VERSION_MAJOR}.${PYTHON_VERSION_MINOR} EXACT REQUIRED)
后面的部分就不同了。首先要检测有没有安装 numpy:
cmake
# Find NumPy location
execute_process(
COMMAND
${PYTHON_EXECUTABLE} "-c" "import re, numpy; print(re.compile('/__init__.py.*').sub('',numpy.__file__))"
RESULT_VARIABLE _numpy_status
OUTPUT_VARIABLE _numpy_location
ERROR_QUIET
OUTPUT_STRIP_TRAILING_WHITESPACE
)
if(NOT _numpy_status)
set(NumPy ${_numpy_location} CACHE STRING "Location of NumPy")
endif()
# Find NumPy version
execute_process(
COMMAND
${PYTHON_EXECUTABLE} "-c" "import numpy; print(numpy.__version__)"
OUTPUT_VARIABLE _numpy_version
ERROR_QUIET
OUTPUT_STRIP_TRAILING_WHITESPACE
)
include(FindPackageHandleStandardArgs)
find_package_handle_standard_args(NumPy
FOUND_VAR NumPy_FOUND
REQUIRED_VARS NumPy
VERSION_VAR _numpy_version
)
这一段代码主要有2部分组成。首先是判断有没有安装 numpy,代码如下。
cmake
execute_process(
COMMAND
${PYTHON_EXECUTABLE} "-c" "import re, numpy; print(re.compile('/__init__.py.*').sub('',numpy.__file__))"
RESULT_VARIABLE _numpy_status
OUTPUT_VARIABLE _numpy_location
ERROR_QUIET
OUTPUT_STRIP_TRAILING_WHITESPACE
)
if(NOT _numpy_status)
set(NumPy ${_numpy_location} CACHE STRING "Location of NumPy")
endif()
如果找到了numpy, _numpy_status = 0。 所以后面的判断条件是 if(NOT _numpy_status) 。
找到 numpy 后,将numpy 的位置保存到一个变量 NumPy 中,并且这个 变量是 CACHE 的,也就是后面用户可以自己编辑这个变量的值。
然后是检测 numpy 的版本:
cmake
# Find NumPy version
execute_process(
COMMAND
${PYTHON_EXECUTABLE} "-c" "import numpy; print(numpy.__version__)"
OUTPUT_VARIABLE _numpy_version
ERROR_QUIET
OUTPUT_STRIP_TRAILING_WHITESPACE
)
版本号保存到 _numpy_version 这个变量中。然后用 FindPackageHandleStandardArgs 这个包的功能设置 NumPy_FOUND 变量。这里使用FindPackageHandleStandardArgs 的目的其实只有一个,就是当 NumPy 没找到时,cmake 可以抱错并停下来。
cmake
include(FindPackageHandleStandardArgs)
find_package_handle_standard_args(NumPy
FOUND_VAR NumPy_FOUND
REQUIRED_VARS NumPy
VERSION_VAR _numpy_version
)
后面如何编译exe文件,这里也用了些技巧,比如用到了 PYTHON_VERSION_MAJOR:
cmake
add_executable(pure-embedding "")
target_sources(pure-embedding
PRIVATE
Py${PYTHON_VERSION_MAJOR}-pure-embedding.cpp
)
target_include_directories(pure-embedding
PRIVATE
${PYTHON_INCLUDE_DIRS}
)
target_link_libraries(pure-embedding
PRIVATE
${PYTHON_LIBRARIES}
)
还有最后一部分,我们要把 use_numpy.py 文件拷贝到 exe 所在目录,因为我们的程序要调用这个文件:
cmake
add_custom_command(
OUTPUT
${CMAKE_CURRENT_BINARY_DIR}/use_numpy.py
COMMAND
${CMAKE_COMMAND} -E copy_if_different ${CMAKE_CURRENT_SOURCE_DIR}/use_numpy.py
${CMAKE_CURRENT_BINARY_DIR}/use_numpy.py
DEPENDS
${CMAKE_CURRENT_SOURCE_DIR}/use_numpy.py
)
# make sure building pure-embedding triggers the above
# custom command
target_sources(pure-embedding
PRIVATE
${CMAKE_CURRENT_BINARY_DIR}/use_numpy.py
)
编译生成 pure-embedding.exe 后可以试着运行一下。
cmake
./pure-embedding use_numpy print_ones 2 3
结果如下:
[[1. 1. 1.]
[1. 1. 1.]]
Result of call: 6