php使用kafka实现消息队列处理

一:参考文档

https://arnaud.le-blanc.net/php-rdkafka-doc/phpdoc/book.rdkafka.html

https://github.com/arnaud-lb/php-rdkafka

https://cwiki.apache.org/confluence/display/KAFKA/Clients#Clients-PHP

二:php安装kafka拓展

1:window下安装kafka拓展

(1).下载kafka拓展包

https://pecl.php.net/package/rdkafka

(2).安装kafka拓展

将下载的拓展包中的 librdkafka.dll移到php安装根目录下,php_rdkafka.dll移到php/ext目录下

再php.ini文件中增加

复制代码
extension=php_rdkafka.dll

2:linux下安装kafka拓展

(1):使用pecl安装kafka
复制代码
pecl install rdkafka
在php.ini增加
复制代码
extension=rdkafka.so
(2):源码安装kafka
复制代码
git clone https://github.com/arnaud-lb/php-rdkafka.git
cd php-rdkafka
phpize
./configure
make all -j 5
在php.ini增加
复制代码
extension=rdkafka.so
(3):安装拓展问题

安装过程中提示如下错误解决

安装librdkafka

复制代码
git clone https://github.com/edenhill/librdkafka.git
cd librdkafka
chmod 777 configure lds-gen.py
./configure
make && make install

如果安装librdkafka过程中出现如下错误解决

将Makefile.config里面的WITH_LDS=y这一行注释掉即可

三:php使用kafka实现消息队列处理

复制代码
$conf = new \RdKafka\Conf();

$conf->set('sasl.mechanisms', 'PLAIN');
//SASL认证账户
$conf->set('sasl.username', 'xxx');
//SASL认证密码
$conf->set('sasl.password', 'xxx');
//认证协议
$conf->set('security.protocol', 'SASL_SSL');
//证书地址
$conf->set('ssl.ca.location', '/xxx/xxx.crt');

// 分组ID
$conf->set('group.id', 'xxx');

// 消费地址
$conf->set('metadata.broker.list', 'xxx.xxx.xxx.xxx:xxx');

// 偏移量
$conf->set('auto.offset.reset', 'earliest');


$consumer = new \RdKafka\KafkaConsumer($conf);

// 消费topic
$consumer->subscribe(['XXX']);

echo "Waiting for partition assignment... (make take some time when\n";
echo "quickly re-joining the group after leaving it.)\n";

while (true) {
    $message = $consumer->consume(30*1000);
    switch ($message->err) {
        case RD_KAFKA_RESP_ERR_NO_ERROR:
            var_dump($message);
            break;
        case RD_KAFKA_RESP_ERR__PARTITION_EOF:
            echo "No more messages; will wait for more\n";
            break;
        case RD_KAFKA_RESP_ERR__TIMED_OUT:
            echo "Timed out\n";
            break;
        default:
            throw new \Exception($message->errstr(), $message->err);
            break;
    }
}
相关推荐
陈一Tender3 分钟前
JavaWeb后端实战(登录认证 & 令牌技术 & 拦截器 & 过滤器)
java·开发语言·spring boot·mysql
Camel卡蒙4 分钟前
红黑树详细介绍(五大规则、保持平衡操作、Java实现)
java·开发语言·算法
jerryinwuhan8 分钟前
机器人模拟器(python)
开发语言·python·机器人
孤廖30 分钟前
吃透 C++ 栈和队列:stack/queue/priority_queue 用法 + 模拟 + STL 标准实现对比
java·开发语言·数据结构·c++·人工智能·深度学习·算法
驰羽38 分钟前
[GO]GORM中的Tag映射规则
开发语言·golang
WordPress学习笔记1 小时前
wp-config.php文件是什么
php·wp-config
BUTCHER51 小时前
Kafka多网卡环境配置
分布式·kafka
非凡的世界1 小时前
深入理解 PHP 框架里的设计模式
开发语言·设计模式·php
小龙报1 小时前
《算法通关指南---C++编程篇(3)》
开发语言·c++·算法·visualstudio·学习方法·visual studio
凤山老林1 小时前
排序算法:详解插入排序
java·开发语言·后端·算法·排序算法