【ranger】CDP环境 更新 ranger 权限策略会发生低概率丢失权限策略的解决方法

一、问题描述:

我们的 kafka 服务在更新(添加) ranger 权限时,会有极低的概率导致 MM2 同步服务报错,报错内容 Not Authorized。但是查看 ranger 权限是赋予的,并且很早配置的权限策略也会报错。

相关组件版本:

  • CDP : 7.1.7
  • KAFKA: 2.5.0
  • RAGNER: 2.0.0
  • MM2:2.5.0

二、问题原因:

当高频更新 Ranger 策略时,Ranger plugin 处理 delta update 的时候有一定几率触发丢失 Kafka 权限策略的问题,导致个别权限没有被正确加载。

即:我们在 ranger WEB UI 中看到我们的策略确实是已经配置,但是实际上落实到各个服务的策略缓存时发生了丢失。

默认的缓存策略存放位置是在 /var/lib/ranger/ 目录下,这里我以 kafka 为例,kafkaranger 缓存策略在:

bash 复制代码
ls /var/lib/ranger/kafka/policy-cache/
kafka_cm_kafka.json kafka_cm_kafka_roles.json kafka_cm_kafka_tag.json 

其中的 kafka_cm_kafka.json 就是存放我们实际的缓存策略的文件。

三、解决方案:

关闭 Ranger 组件的增量更新,确认可以规避由此 bug 导致的权限丢失问题

四、操作步骤:

1.更改策略更新配置 (改为全量更新)

1.集群 -> Ranger -> 配置 -> 搜索conf/ranger-admin-site.xml_role safety_valve

-> 点击 "以 XML 格式查看",插入如下内容:

bash 复制代码
<property><name>ranger.admin.supports,policy.deltas</name><value>false</value></property>
<property><name>ranger.admin.supports.tag.deltas</name><value>false</value></property>

2.修改 ranger admin JVM 内存

CM -> 集群 -> Ranger-> 配置 -> 搜索 ranger admin max heap_size

-> 修改配置 8G

  1. 重启 ranger admin 和 mm2 服务。

四、如何获取 Ranger Policy HTTP 请求

CM ->ranger-> 配置 -> 日志 -> INFO改为 DEBUG

查看日志:

http 请求如下:

bash 复制代码
http://mn.test.com:6080/service/plugins/secure/policies/download/cm kafka?supportsPolicyDeltas=true&pluginld=kafka@kafka-03.test.com-cm_kafka&clusterName=Bigdata

查看返回结果:

bash 复制代码
curl -o rangerdata -u "admin:P@sswOrd2021" "1.5.4.5:6080/service/plugins/secure/policies/download/cm_kafka?supportsPolicyDeltas=true&pluginld=kafka@kafka-03.test.com/cm kafka&clusterName=Bigdata"

## 查看大小
du -sh rangerdata 

五、查看性能

查看修改配置后,ranger 的性能。如:堆内存使用率,非堆内存提交等等。

问题解决!

相关推荐
范什么特西10 小时前
关于kafka
分布式·kafka
Wang's Blog2 天前
Go-Zero 项目开发19:基于 Kafka 的异步消息存储与转发实战
golang·kafka
Devin~Y2 天前
互联网大厂 Java 面试实录:Spring Boot、MyBatis、Redis、Kafka、Spring Security、RAG 与 MCP 全链路问答
java·redis·kafka·mybatis·spring security·spring mvc·sprint boot
java1234_小锋4 天前
【免费】基于Spark实时电商用户行为分析与预测(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品
java·spark·kafka·实时电商用户行为分析与预测系统
AI人工智能+电脑小能手5 天前
【大白话说Java面试题 第194题】【08_Kafka篇】第10题:简述 Kafka 的 Rebalance 机制?
java·kafka·消费者组·rebalance·分布式消息队列
AI人工智能+电脑小能手5 天前
【大白话说Java面试题 第192题】【08_Kafka篇】第8题:死信队列是什么?延时队列是什么?
java·kafka·消息队列·死信队列·延时队列
AI人工智能+电脑小能手6 天前
【大白话说Java面试题 第190题】【08_Kafka篇】第6题:消息队列有什么作用?
java·kafka·消息队列·系统设计·分布式架构
风中凌乱6 天前
kafka新版本集群的安装与部署
分布式·kafka
abcy0712136 天前
kafka消息丢失与消息重复消费
kafka
富士康质检员张全蛋6 天前
Kafka的操作-消费的详情
分布式·kafka