php使用kafka实现消息队列处理

一:参考文档

https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html

https://github.com/arnaud-lb/php-rdkafka

https://cwiki.apache.org/confluence/display/KAFKA/Clients#Clients-PHP

二:php安装kafka拓展

1:window下安装kafka拓展

(1).下载kafka拓展包

https://pecl.php.net/package/rdkafka

(2).安装kafka拓展

将下载的拓展包中的 librdkafka.dll移到php安装根目录下,php_rdkafka.dll移到php/ext目录下

再php.ini文件中增加

复制代码
extension=php_rdkafka.dll

2:linux下安装kafka拓展

(1):使用pecl安装kafka
复制代码
pecl install rdkafka
在php.ini增加
复制代码
extension=rdkafka.so
(2):源码安装kafka
复制代码
git clone https://github.com/arnaud-lb/php-rdkafka.git
cd php-rdkafka
phpize
./configure
make all -j 5
在php.ini增加
复制代码
extension=rdkafka.so
(3):安装拓展问题

安装过程中提示如下错误解决

安装librdkafka

复制代码
git clone https://github.com/edenhill/librdkafka.git
cd librdkafka
chmod 777 configure lds-gen.py
./configure
make && make install

如果安装librdkafka过程中出现如下错误解决

将Makefile.config里面的WITH_LDS=y这一行注释掉即可

三:php使用kafka实现消息队列处理

复制代码
$conf = new \RdKafka\Conf();

$conf->set('sasl.mechanisms', 'PLAIN');
//SASL认证账户
$conf->set('sasl.username', 'xxx');
//SASL认证密码
$conf->set('sasl.password', 'xxx');
//认证协议
$conf->set('security.protocol', 'SASL_SSL');
//证书地址
$conf->set('ssl.ca.location', '/xxx/xxx.crt');

// 分组ID
$conf->set('group.id', 'xxx');

// 消费地址
$conf->set('metadata.broker.list', 'xxx.xxx.xxx.xxx:xxx');

// 偏移量
$conf->set('auto.offset.reset', 'earliest');


$consumer = new \RdKafka\KafkaConsumer($conf);

// 消费topic
$consumer->subscribe(['XXX']);

echo "Waiting for partition assignment... (make take some time when\n";
echo "quickly re-joining the group after leaving it.)\n";

while (true) {
    $message = $consumer->consume(30*1000);
    switch ($message->err) {
        case RD_KAFKA_RESP_ERR_NO_ERROR:
            var_dump($message);
            break;
        case RD_KAFKA_RESP_ERR__PARTITION_EOF:
            echo "No more messages; will wait for more\n";
            break;
        case RD_KAFKA_RESP_ERR__TIMED_OUT:
            echo "Timed out\n";
            break;
        default:
            throw new \Exception($message->errstr(), $message->err);
            break;
    }
}
相关推荐
消失的旧时光-19437 分钟前
Kotlin 高阶函数在回调设计中的最佳实践
android·开发语言·kotlin
LucianaiB39 分钟前
掌握 Rust:从内存安全到高性能服务的完整技术图谱
开发语言·安全·rust
m0_7482402544 分钟前
C++ 游戏开发示例:简单的贪吃蛇游戏
开发语言·c++·游戏
兰亭妙微1 小时前
2026年UX/UI五大趋势:AI、AR与包容性设计将重新定义用户体验
开发语言·ui·1024程序员节·界面设计·设计趋势
懒羊羊不懒@2 小时前
Java—枚举类
java·开发语言·1024程序员节
m0_748240252 小时前
C++智能指针使用指南(auto_ptr, unique_ptr, shared_ptr, weak_ptr)
java·开发语言·c++
Evand J2 小时前
【MATLAB例程】自适应渐消卡尔曼滤波,背景为二维雷达目标跟踪,基于扩展卡尔曼(EKF)|附完整代码的下载链接
开发语言·matlab·目标跟踪·1024程序员节
百锦再2 小时前
低代码开发的约束性及ABP框架的实践解析
android·开发语言·python·低代码·django·virtualenv·rxjava
csbysj20203 小时前
Scala 字符串
开发语言
自动化小秋葵3 小时前
Python入门经典题目
开发语言·python