阿里云日志服务Logstore与MySQL数据库关联

前提条件

操作步骤

1、在MySQL数据库中,创建用户属性表(即chiji_user表)。

2、添加白名单。如果是rds,设置ip白名单;如果是ecs上自建的mysql,设置安全组规则。

3、创建ExternalStore。

3.1.centos7安装日志服务CLI。更多信息,请参见CLI概述

bash 复制代码
# 查看python版本:python --version
# 当前python版本:Python 2.7.5

# 安装cli:https://help.aliyun.com/zh/sls/developer-reference/install-log-service-cli

# 因为当前python版本为Python 2.7.5,所以使用pip安装
pip install aliyun-log-python-sdk aliyun-log-cli -U --no-cache

# 验证安装结果
aliyunlog --version


# 配置cli:https://help.aliyun.com/zh/sls/developer-reference/configure-log-service-cli
aliyunlog configure "【AccessKey ID】" "【AccessKey Secret】" 【Endpoint】

3.2.创建配置文件

bash 复制代码
touch /home/config.json

3.3.在/home/config.json文件中添加如下脚本,并根据实际情况替换参数配置。

bash 复制代码
{
"externalStoreName":"【storename名称,由于示例关联查询使用了chiji_user,所以此处填写chiji_user】",
"storeType":"rds-vpc",
"parameter":
   {
   "region":"【cn-qingdao】",
   "vpc-id":"【vpc-m5eq4irc1pucp*******】",
   "instance-id":"【i-m5eeo2whsn*******】",
   "host":"localhost",
   "port":"3306",
   "username":"【用户】",
   "password":"【密码】",
   "db":"【库名】",
   "table":"【表名】"
   }
}

3.4.创建ExternalStore。

bash 复制代码
aliyunlog log create_external_store --project_name="【日志服务Project名称】" --config="file:///home/config.json" 

4、使用JOIN语法进行联合查询分析。

4.1.登录日志服务控制台

4.2.在Project列表区域,单击目标Project。

4.3.在日志存储 > 日志库页签中,单击目标Logstore。

4.4.执行查询分析语句。

指定日志中的userid字段和数据库表中的uid字段关联Logstore和MySQL数据库。

bash 复制代码
* | select case gender when 1 then '男性' else '女性' end as gender , count(1) as pv from log l join chiji_user u on l.userid = u.uid group by gender order by pv desc

说明:"...from log l join chiji_user u...",

log指当前Logstore,

chiji_user指/home/config.json文件的externalStoreName对应的值

重要

  • 仅支持Logstore与MySQL数据库小表(数据量小于20 MB)进行联合查询。
  • 查询和分析语句中,Logstore必须写在join关键字前面,ExternalStore写在join关键字后面。
  • 查询和分析语句中,必须写ExternalStore名称,系统自动替换成MySQL数据库名+表名。请勿直接填写MySQL表名。

详见:Logstore和MySQL联合查询_用户指南_混合云存储CDS_企业版

5、保存查询分析结果到MySQL数据库中。【暂未将分析结果保存到mysql】

5.1.在MySQL数据库中,创建名为report的数据表,该表存储每分钟的PV值。

5.2.参见步骤3为report表创建ExternalStore。

5.3.在日志服务Logstore的查询分析页面中,执行如下查询语句将分析结果保存到report表中。

详见:

如何实现日志服务Logstore与MySQL数据库关联分析功能_日志服务-阿里云帮助中心

如何安装日志服务命令行工具CLI_日志服务-阿里云帮助中心

Logstore和MySQL联合查询_用户指南_混合云存储CDS_企业版

阿里云提供的演示数据:SLS Playground | SLS

相关推荐
努力算法的小明4 分钟前
SQL 复杂查询
数据库·sql
斗-匕8 分钟前
MySQL 三大日志详解
数据库·mysql·oracle
代码中の快捷键14 分钟前
MySQL数据库存储引擎
数据库·mysql
只因在人海中多看了你一眼14 分钟前
数据库体系
数据库
尘浮生36 分钟前
Java项目实战II基于微信小程序的电影院买票选座系统(开发文档+数据库+源码)
java·开发语言·数据库·微信小程序·小程序·maven·intellij-idea
tian2kong1 小时前
Centos 7 修改YUM镜像源地址为阿里云镜像地址
linux·阿里云·centos
六月闻君1 小时前
MySQL 报错:1137 - Can‘t reopen table
数据库·mysql
SelectDB技术团队1 小时前
兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景
大数据·数据库·数据仓库·数据分析·doris
inventecsh1 小时前
mongodb基础操作
数据库·mongodb
白云如幻1 小时前
SQL99版链接查询语法
数据库·sql·mysql