python(44) : docker构建支持消费rocketmq的客户端

1.需求

基于python:3.10-slim镜像部署python服务, 其中会消费rocketmq, 消费报错 ,如下

File "/app/main.py", line 6, in <module>

from consumer.rocketmq_consumer import consumer

File "/app/consumer/rocketmq_consumer.py", line 12, in <module>

from rocketmq.client import ConsumeStatus

File "/usr/local/lib/python3.10/site-packages/rocketmq/client.py", line 24, in <module>

from .ffi import (

File "/usr/local/lib/python3.10/site-packages/rocketmq/ffi.py", line 40, in <module>

raise ImportError('rocketmq dynamic library not found')

ImportError: rocketmq dynamic library not found

2.原因

是因为 Python 的 rocketmq-client-python 包依赖一个 C/C++ 编写的动态链接库(librocketmq.so ,但在你的容器环境(基于 python:3.10-slim)中 没有安装这个底层库,导致无法加载。

2.1.错误原因分析

  • python:3.10-slim 是一个极简镜像,缺少编译和运行原生扩展所需的工具链和库。
  • rocketmq.client 使用了 cffi 调用 RocketMQ 的 C++ 客户端(通过 JNI 或 librocketmq)。
  • librocketmq.so 没有被自动安装或找不到路径。

2.2.解决方案

你需要在 Docker 镜像中:

  1. 安装系统依赖
  2. 下载并编译安装 librocketmq 动态库
  3. 确保 Python 包能正确找到它

3.解决方法

3.1.下载RocketMQ C++ 客户端的预编译二进制版本(bin-release)

RocketMQ C++ 客户端的预编译二进制版本(bin-release) ,已经包含了编译好的动态库(如 librocketmq.so),你只需要把它解压并放到系统能识别的路径中即可,无需再安装 cmakebuild-essential 等编译工具

Releases · apache/rocketmq-client-cpp

下载[rocketmq-client-cpp-2.2.0-bin-release.tar.gz]即可

3.2.创建文件

build.sh

复制代码
cp requirements.txt .

# 删除名为 py_rocketmq:0.1 的本地 Docker 镜像(如果存在)
docker rmi py_rocketmq:0.1

# 解压并整理 rocketmq-client-cpp 库文件(必须linux解压, win解压有问题)
tar -zxvf rocketmq-client-cpp-2.0.0-bin-release.tar.gz
tar -zxvf rocketmq-client-cpp-2.0.0-bin-release/centos7/rocketmq-client-cpp-2.0.0-bin-release.tar.gz
mkdir -p package
mv rocketmq-client-cpp/include package
mv rocketmq-client-cpp/lib package
rm -rf rocketmq-client-cpp
rm -rf rocketmq-client-cpp-2.0.0-bin-release

# 使用当前目录下的 Dockerfile 构建新的 py_rocketmq:0.1 镜像
docker build -t py_rocketmq:0.1 .  --no-cache

rm -rf package

Dockerfile

复制代码
# 使用Python 3.11官方镜像作为基础镜像
FROM python:3.10-slim

WORKDIR /app

COPY package .
COPY requirements.txt .

RUN cp -r /app/lib/* /usr/local/lib/ \
    && cp -r /app/include/* /usr/local/include/ \
    && ldconfig

# 设置库路径
ENV LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH

# 升级pip
RUN python -m pip install --upgrade pip  -i https://mirrors.aliyun.com/pypi/simple/ requests

# 安装依赖
RUN pip install --no-cache-dir -r requirements.txt  -i https://mirrors.aliyun.com/pypi/simple/ requests

3.3.构建镜像

bash 复制代码
sh build.sh

4.基于构建的镜像部署python服务

参考 : https://blog.csdn.net/Lxinccode/article/details/152129645

相关推荐
绵羊20232 小时前
ImmuCellAI 免疫浸润分析
linux·python
胡斌附体3 小时前
linux docker 离线 安装
linux·docker·卸载·自启动·离线安装·系统服务
m0_464608263 小时前
Docker从网络管理到容器优化
docker·容器
有梦想的攻城狮3 小时前
Docker进程中的守护进程原理解析
docker·容器·eureka·podman
MediaTea4 小时前
Python IDE:Spyder
开发语言·ide·python
B站_计算机毕业设计之家4 小时前
大数据 Python小说数据分析平台 小说网数据爬取分析系统 Django框架 requests爬虫 Echarts图表 17k小说网 (源码)✅
大数据·爬虫·python·机器学习·数据分析·可视化·小说
都是些老物件5 小时前
TensorFlow中的掩码传递
人工智能·python·tensorflow
Lin_Aries_04215 小时前
容器化 Tomcat 应用程序
java·linux·运维·docker·容器·tomcat
吃不胖没烦恼5 小时前
Alibaba Cloud Linux 3 +Docker 部署 ThinkPHP6 (宝塔环境)-问题篇
运维·docker·容器