【Apache Doris】审计日志插件 | 快速体验

乙真仙人2023-11-15 19:10

【Apache Doris】审计日志插件 | 快速体验

  • [一、 环境信息](#一、 环境信息)
    • [1.1 硬件信息](#1.1 硬件信息)
    • [1.2 软件信息](#1.2 软件信息)
  • [二、 审计日志插件介绍](#二、 审计日志插件介绍)
  • [三、 快速 体验](#三、 快速 体验)
    • [3.1 AuditLoader 配置](#3.1 AuditLoader 配置)
      • [3.1.1 下载 Audit Loader 插件](#3.1.1 下载 Audit Loader 插件)
      • [3.1.2 解压安装包](#3.1.2 解压安装包)
      • [3.1.3 修改 plugin.conf](#3.1.3 修改 plugin.conf)
    • [3.2 创建库表](#3.2 创建库表)
    • [3.3 初始化](#3.3 初始化)
    • [3.4 验证](#3.4 验证)

一、 环境信息

1.1 硬件信息

  1. CPU ：48C
  2. CPU型号：x86_64
  3. 内存 ：185GB

1.2 软件信息

  1. 系统 ：CentOS
  2. Apahce Doris版本 ：2.0.2
  3. JAVA版本：1.8.0

二、 审计日志插件介绍

Doris默认装了是审计日志，即会将执行的SQL都记录到fe/log/fe.audit.log日志里，但如果需要映射到表、通过SQL的方式去查询解析这些日志的话，则需要安装配置审计日志插件。

Doris 的审计日志插件是在 FE 的插件框架基础上开发的，是一个可选插件。用户可以在运行时安装或卸载这个插件。

审计日志插件可以将 FE 的审计日志定期的导入到指定 Doris 集群中，以方便用户通过 SQL 对审计日志进行查看和分析。

三、 快速 体验

3.1 AuditLoader 配置

3.1.1 下载 Audit Loader 插件

Audit Loader 插件在 Doris 的发行版中默认提供，通过官网下载 Doris 安装包解压并进入目录后即可在 extensions/audit_loader 子目录下找到 auditloader.zip 文件。

3.1.2 解压安装包

shell 复制代码 
unzip auditloader.zip

解压生成如下3个文件：

  • auditloader.jar：插件代码包。
  • plugin.properties：插件属性文件。
  • plugin.conf：插件配置文件。

3.1.3 修改 plugin.conf

以下配置可供修改：

  • frontend_host_port：FE 节点 IP 地址和 HTTP 端口，格式为 <fe_ip>:<fe_http_port>。 默认值为 127.0.0.1:8030。
  • database：审计日志库名，默认即可、需要与上一步的【创建库表】一致。
  • audit_log_table：审计日志表名，默认即可、需要与上一步的【创建库表】一致。
  • slow_log_table：慢查询日志表名，默认即可、需要与上一步的【创建库表】一致。
  • enable_slow_log：是否开启慢查询日志导入功能。默认值为 false。
  • user：集群用户名。该用户必须具有对应表的 INSERT 权限。
  • password：集群用户密码。

3.2 创建库表

在 Doris 中，需要创建审计日志的库和表，表结构如下：

若需开启慢查询日志导入功能，还需要额外创建慢表 doris_slow_log_tbl__，其表结构与 doris_audit_log_tbl__ 一致。

其中 dynamic_partition 属性根据自己的需要，选择审计日志保留的天数。

sql 复制代码 
create database doris_audit_db__;

create table doris_audit_db__.doris_audit_log_tbl__
(
    query_id varchar(48) comment "Unique query id",
    `time` datetime not null comment "Query start time",
    client_ip varchar(32) comment "Client IP",
    user varchar(64) comment "User name",
    catalog varchar(128) comment "Catalog of this query",
    db varchar(96) comment "Database of this query",
    state varchar(8) comment "Query result state. EOF, ERR, OK",
    error_code int comment "Error code of failing query.",
    error_message string comment "Error message of failing query.",
    query_time bigint comment "Query execution time in millisecond",
    scan_bytes bigint comment "Total scan bytes of this query",
    scan_rows bigint comment "Total scan rows of this query",
    return_rows bigint comment "Returned rows of this query",
    stmt_id int comment "An incremental id of statement",
    is_query tinyint comment "Is this statemt a query. 1 or 0",
    frontend_ip varchar(32) comment "Frontend ip of executing this statement",
    cpu_time_ms bigint comment "Total scan cpu time in millisecond of this query",
    sql_hash varchar(48) comment "Hash value for this query",
    sql_digest varchar(48) comment "Sql digest for this query",
    peak_memory_bytes bigint comment "Peak memory bytes used on all backends of this query",
    stmt string comment "The original statement, trimed if longer than 2G"
) engine=OLAP
duplicate key(query_id, `time`, client_ip)
partition by range(`time`) ()
distributed by hash(query_id) buckets 1
properties(
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.start" = "-30",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "1",
    "dynamic_partition.enable" = "true",
    "replication_num" = "3"
);

create table doris_audit_db__.doris_slow_log_tbl__
(
    query_id varchar(48) comment "Unique query id",
    `time` datetime not null comment "Query start time",
    client_ip varchar(32) comment "Client IP",
    user varchar(64) comment "User name",
    catalog varchar(128) comment "Catalog of this query",
    db varchar(96) comment "Database of this query",
    state varchar(8) comment "Query result state. EOF, ERR, OK",
    error_code int comment "Error code of failing query.",
    error_message string comment "Error message of failing query.",
    query_time bigint comment "Query execution time in millisecond",
    scan_bytes bigint comment "Total scan bytes of this query",
    scan_rows bigint comment "Total scan rows of this query",
    return_rows bigint comment "Returned rows of this query",
    stmt_id int comment "An incremental id of statement",
    is_query tinyint comment "Is this statemt a query. 1 or 0",
    frontend_ip varchar(32) comment "Frontend ip of executing this statement",
    cpu_time_ms bigint comment "Total scan cpu time in millisecond of this query",
    sql_hash varchar(48) comment "Hash value for this query",
    sql_digest varchar(48) comment "Sql digest for this query",
    peak_memory_bytes bigint comment "Peak memory bytes used on all backends of this query",
    stmt string comment "The original statement, trimed if longer than 2G "
) engine=OLAP
duplicate key(query_id, `time`, client_ip)
partition by range(`time`) ()
distributed by hash(query_id) buckets 1
properties(
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.start" = "-30",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "1",
    "dynamic_partition.enable" = "true",
    "replication_num" = "3"
);

3.3 初始化

sql 复制代码 
INSTALL PLUGIN FROM [source] [PROPERTIES ("key"="value", ...)]

source 支持三种类型：

  • 指向一个 zip 文件的绝对路径。
  • 指向一个插件目录的绝对路径。
  • 指向一个 http 或 https 协议的 zip 文件下载路径

Example：

  1. 安装一个本地 zip 文件插件：
sql 复制代码 
INSTALL PLUGIN FROM "/home/users/doris/auditdemo.zip";
  1. 安装一个本地目录中的插件：
sql 复制代码 
INSTALL PLUGIN FROM "/home/users/doris/auditdemo/";
  1. 下载并安装一个插件：注意需要放置一个和 .zip 文件同名的 md5 文件, 如 http://mywebsite.com/plugin.zip.md5 。其中内容为 .zip 文件的 MD5 值。
sql 复制代码 
INSTALL PLUGIN FROM "http://mywebsite.com/plugin.zip";
  1. 下载并安装一个插件,同时设置了zip文件的md5sum的值：
sql 复制代码 
INSTALL PLUGIN FROM "http://mywebsite.com/plugin.zip" PROPERTIES("md5sum" = "73877f6029216f4314d712086a146570");

执行install成功后会在fe/plugins/目录下自动生成AuditLoader目录

3.4 验证

执行如下sql验证是否安装注册成功，Status为INSTALLED则说明安装成功

直接通过sql查询审计日志，快速体验。

sql 复制代码 
select
	*
from
	doris_audit_db__.doris_audit_log_tbl__
where
	time > '2023-11-11 00:00:00'
	and stmt like '%ssb_test.part%'
order by
	time desc
limit 10;

【Apache Doris】审计日志插件 | 快速体验 分享至此结束，体验过程中若遇到问题欢迎留言交流

相关推荐
Aurora_NeAr27 分钟前
Redis设计与实现——Redis命令参考与高级特性
数据库·redis·缓存
程序猿小谢29 分钟前
Redis特性与应用
数据库·redis·缓存
菠萝崽.33 分钟前
Elasticsearch进阶篇-DSL
大数据·分布式·elasticsearch·搜索引擎·全文检索·jenkins·springboot
斯文by累34 分钟前
解锁DeepSeek潜能：Docker+Ollama打造本地大模型部署新范式
运维·docker·容器
Code哈哈笑42 分钟前
【基于Spring Boot 的图书购买系统】深度讲解 用户注册的前后端交互，Mapper操作MySQL数据库进行用户持久化
数据库·spring boot·后端·mysql·mybatis·交互
Javatutouhouduan1 小时前
线上问题排查：JVM OOM问题如何排查和解决
java·jvm·数据库·后端·程序员·架构师·oom
不许哈哈哈1 小时前
自动化点击工具
运维·python·自动化
多多*1 小时前
Spring之Bean的初始化 Bean的生命周期 全站式解析
java·开发语言·前端·数据库·后端·spring·servlet
无敌小胜2 小时前
使用教程：8x16模拟开关阵列可级联XY脚双向导通自动化接线
运维·自动化
努力学习的小廉2 小时前
深入了解linux系统—— 基础IO（上）
android·linux·运维
热门推荐
01KGG转MP3工具|非KGM文件|解密音频02YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】03从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑04【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！05YOLOv5改进 | 添加CA注意力机制 + 增加预测层 + 更换损失函数之GIoU06Coze扣子平台完整体验和实践（附国内和国际版对比）07组基轨迹建模 GBTM的介绍与实现（Stata 或 R）08DeepSeek各版本说明与优缺点分析09苍穹外卖面试总结10Ubuntu24.04安装中文输入法