阿里云日志服务Logstore与MySQL数据库关联

前提条件

操作步骤

1、在MySQL数据库中,创建用户属性表(即chiji_user表)。

2、添加白名单。如果是rds,设置ip白名单;如果是ecs上自建的mysql,设置安全组规则。

3、创建ExternalStore。

3.1.centos7安装日志服务CLI。更多信息,请参见CLI概述

bash 复制代码
# 查看python版本:python --version
# 当前python版本:Python 2.7.5

# 安装cli:https://help.aliyun.com/zh/sls/developer-reference/install-log-service-cli

# 因为当前python版本为Python 2.7.5,所以使用pip安装
pip install aliyun-log-python-sdk aliyun-log-cli -U --no-cache

# 验证安装结果
aliyunlog --version


# 配置cli:https://help.aliyun.com/zh/sls/developer-reference/configure-log-service-cli
aliyunlog configure "【AccessKey ID】" "【AccessKey Secret】" 【Endpoint】

3.2.创建配置文件

bash 复制代码
touch /home/config.json

3.3.在/home/config.json文件中添加如下脚本,并根据实际情况替换参数配置。

bash 复制代码
{
"externalStoreName":"【storename名称,由于示例关联查询使用了chiji_user,所以此处填写chiji_user】",
"storeType":"rds-vpc",
"parameter":
   {
   "region":"【cn-qingdao】",
   "vpc-id":"【vpc-m5eq4irc1pucp*******】",
   "instance-id":"【i-m5eeo2whsn*******】",
   "host":"localhost",
   "port":"3306",
   "username":"【用户】",
   "password":"【密码】",
   "db":"【库名】",
   "table":"【表名】"
   }
}

3.4.创建ExternalStore。

bash 复制代码
aliyunlog log create_external_store --project_name="【日志服务Project名称】" --config="file:///home/config.json" 

4、使用JOIN语法进行联合查询分析。

4.1.登录日志服务控制台

4.2.在Project列表区域,单击目标Project。

4.3.在日志存储 > 日志库页签中,单击目标Logstore。

4.4.执行查询分析语句。

指定日志中的userid字段和数据库表中的uid字段关联Logstore和MySQL数据库。

bash 复制代码
* | select case gender when 1 then '男性' else '女性' end as gender , count(1) as pv from log l join chiji_user u on l.userid = u.uid group by gender order by pv desc

说明:"...from log l join chiji_user u...",

log指当前Logstore,

chiji_user指/home/config.json文件的externalStoreName对应的值

重要

  • 仅支持Logstore与MySQL数据库小表(数据量小于20 MB)进行联合查询。
  • 查询和分析语句中,Logstore必须写在join关键字前面,ExternalStore写在join关键字后面。
  • 查询和分析语句中,必须写ExternalStore名称,系统自动替换成MySQL数据库名+表名。请勿直接填写MySQL表名。

详见:Logstore和MySQL联合查询_用户指南_混合云存储CDS_企业版

5、保存查询分析结果到MySQL数据库中。【暂未将分析结果保存到mysql】

5.1.在MySQL数据库中,创建名为report的数据表,该表存储每分钟的PV值。

5.2.参见步骤3为report表创建ExternalStore。

5.3.在日志服务Logstore的查询分析页面中,执行如下查询语句将分析结果保存到report表中。

详见:

如何实现日志服务Logstore与MySQL数据库关联分析功能_日志服务-阿里云帮助中心

如何安装日志服务命令行工具CLI_日志服务-阿里云帮助中心

Logstore和MySQL联合查询_用户指南_混合云存储CDS_企业版

阿里云提供的演示数据:SLS Playground | SLS

相关推荐
桀桀桀桀桀桀9 分钟前
数据库中的用户管理和权限管理
数据库·mysql
superman超哥1 小时前
04 深入 Oracle 并发世界:MVCC、锁、闩锁、事务隔离与并发性能优化的探索
数据库·oracle·性能优化·dba
用户8007165452001 小时前
HTAP数据库国产化改造技术可行性方案分析
数据库
engchina2 小时前
Neo4j 和 Python 初学者指南:如何使用可选关系匹配优化 Cypher 查询
数据库·python·neo4j
engchina2 小时前
使用 Cypher 查询语言在 Neo4j 中查找最短路径
数据库·neo4j
尘浮生2 小时前
Java项目实战II基于Spring Boot的光影视频平台(开发文档+数据库+源码)
java·开发语言·数据库·spring boot·后端·maven·intellij-idea
威哥爱编程2 小时前
SQL Server 数据太多如何优化
数据库·sql·sqlserver
小华同学ai2 小时前
AJ-Report:一款开源且非常强大的数据可视化大屏和报表工具
数据库·信息可视化·开源
Acrelhuang3 小时前
安科瑞5G基站直流叠光监控系统-安科瑞黄安南
大数据·数据库·数据仓库·物联网
十叶知秋3 小时前
【jmeter】jmeter的线程组功能的详细介绍
数据库·jmeter·性能测试