在AWS EC2中部署和使用Apache Superset的方案

大纲

  • [1 Superset部署](#1 Superset部署)
    • [1.1 启动AWS EC2](#1.1 启动AWS EC2)
    • [1.2 下载Superset Docker文件](#1.2 下载Superset Docker文件)
    • [1.3 修改Dockerfile](#1.3 修改Dockerfile)
    • [1.4 配置管理员](#1.4 配置管理员)
    • [1.5 结果展示](#1.5 结果展示)
    • [1.6 检查数据库驱动](#1.6 检查数据库驱动)
    • [1.7 常见错误处理](#1.7 常见错误处理)
  • [2 Glue(可选参考)](#2 Glue(可选参考))
  • [3 IAM与安全组](#3 IAM与安全组)
    • [3.1 使用AWS Athena](#3.1 使用AWS Athena)
    • [3.2 使用AWS RedShift或AWS RDS](#3.2 使用AWS RedShift或AWS RDS)
      • [3.2.1 查看AWS Redshift集群VPC安全组](#3.2.1 查看AWS Redshift集群VPC安全组)
      • [3.2.2 设置Superset所在AWS EC2实例的安全组](#3.2.2 设置Superset所在AWS EC2实例的安全组)
      • [3.2.3 添加入站规则](#3.2.3 添加入站规则)
  • [4 Superset配置数据源并创建Dashboard](#4 Superset配置数据源并创建Dashboard)
    • [4.1 连接AWS Athena](#4.1 连接AWS Athena)
    • [4.2 连接AWS Redshift](#4.2 连接AWS Redshift)
  • [5 Superset教程](#5 Superset教程)

本文将讲解如何在AWS EC2中部署Apache Superset,并通过AWS Glue连接AWS S3、AWS RDS、AWS RedShift中的数据,进行可视化展现。

1 Superset部署

1.1 启动AWS EC2

启动一台Amazon Linux EC2并安装启动docker环境,需要机型为t.xlarge及以上,EBS盘20GB以上。

powershell 复制代码
sudo yum update -y

# install python3 gcc
sudo yum install -y python3 libpq-dev python3-dev
sudo yum install -y gcc gcc-c++

# add following into ~/.bashrc
echo "export PATH=/usr/local/bin:$PATH" >> ~/.bashrc
echo "alias python=python3" >> ~/.bashrc
echo "alias pip=pip3" >> ~/.bashrc
source ~/.bashrc
python --version

# install docker
sudo yum -y install docker
sudo usermod -a -G docker ec2-user
sudo systemctl start docker
sudo systemctl status docker
sudo systemctl enable docker
sudo chmod 666 /var/run/docker.sock
docker ps

# install docker-compose
sudo curl -L "https://github.com/docker/compose/releases/download/1.25.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
docker-compose --version

1.2 下载Superset Docker文件

powershell 复制代码
sudo yum install -y git curl
git clone https://github.com/apache/incubator-superset/

1.3 修改Dockerfile

powershell 复制代码
cd incubator-superset
vi Dockerfile

在末尾添加

powershell 复制代码
RUN pip install PyAthenaJDBC \    #这个是athena连接
        && pip install PyAthena \ #这个是athena连接
        && pip install psycopg2 \
        && pip install sqlalchemy-redshift # 这个是redshift连接

构建

powershell 复制代码
docker-compose build
docker-compose up

1.4 配置管理员

需要配置管理员用户权限,在docker/docker-init.sh中默认创建用户admin(密码也是admin)但权限并没有更新,通过以下命令更新权限。

powershell 复制代码
#进入docker
docker-compose exec superset bash
superset init

1.5 结果展示

配置成功后,Superset默认使用8088端口,使用http://<EC2 公有IP>:8088访问,默认用户名和密码均为admin 可在Dockerfile、docker中命令、管理页面更改。

1.6 检查数据库驱动

查看数据库驱动是否安装成功。

若没有

powershell 复制代码
#进入docker
docker-compose exec superset bash
#安装  athena 和redshift驱动
pip install PyAthenaJDBC \
        && pip install PyAthena \
        && pip install psycopg2 \
        && pip install sqlalchemy-redshift

1.7 常见错误处理

build中如果出现error

powershell 复制代码
ERROR: Couldn't connect to Docker daemon at http+docker://localunixsocket - is it running?

原因:

  1. docker 没有启动
powershell 复制代码
sudo systemctl start docker
  1. 用户不再docker用户组里面
powershell 复制代码
sudo gpasswd -a ${USER} docker

如果是第二个,请退出shell 再次登陆

2 Glue(可选参考)

3 IAM与安全组

部署Superset的AWS EC2附加的IAM角色需要有AWS Athena查询和Glue Catalog的权限,为方便起见可以赋予AthenaFullAccess和GlueFullAccess。但实际情况请按照最小权限原则来保障安全。

3.1 使用AWS Athena

如果在 Amazon Athena中运行查询时,出现 "Access Denied"(拒绝访问)错误。

powershell 复制代码
Your query has the following errors:Access denied when writing output to url: s3://my-athena-result-bucket/Unsaved/2021/05/07/example_query_ID.csv . Please ensure you are allowed to access the S3 bucket. If you are encrypting query results with KMS key, please ensure you are allowed to access your KMS key

向 IAM 用户授予所需的权限。以下 IAM 策略允许源数据存储桶和查询结果存储桶的最低权限:

xml 复制代码
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::【数据源的s3名称】"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::【数据源的s3名称】/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:AbortMultipartUpload",
                "s3:PutObject",
                "s3:ListMultipartUploadParts"
            ],
            "Resource": [
                "arn:aws:s3:::【存储Athena查询结果的s3名称】",
                "arn:aws:s3:::【存储Athena查询结果的s3名称】/*"
            ]
        }
    ]
}

请务必在此示例策略中替换【】中的内容。

3.2 使用AWS RedShift或AWS RDS

此处以AWS RedShift集群为例。

3.2.1 查看AWS Redshift集群VPC安全组

3.2.2 设置Superset所在AWS EC2实例的安全组


3.2.3 添加入站规则


4 Superset配置数据源并创建Dashboard

此处提供了AWS Athena与AWS RedShift的连接教程,其他JDBC语法请看官方文档。

4.1 连接AWS Athena

powershell 复制代码
awsathena+rest://@athena.{region}.amazonaws.com.cn/<Glue数据库表>?s3_staging_dir=<用来存储查询结果的S3地址>

测试连接

4.2 连接AWS Redshift

powershell 复制代码
redshift+psycopg2://<userName>:<DBPassword>@<AWS End Point>:<port>/<Database Name>

创建连接


5 Superset教程

  1. 简单教学
  2. superset官方文档
相关推荐
AKAMAI6 小时前
云成本困境:开支激增正阻碍欧洲AI创新
人工智能·云原生·云计算
@HNUSTer7 小时前
基于 GEE 的 Sentinel-2 光谱、指数、纹理特征提取与 Sentinel-1 SAR 数据处理
云计算·sentinel·数据集·遥感大数据·gee·云平台·sar
字节跳动视频云技术团队11 小时前
多媒体实验室画质理解大模型Q-Insight入选NeurIPS 2025 Spotlight
云计算·视频编码
坐吃山猪12 小时前
阿里云智能集团首席技术官云栖大会要点总结
阿里云·云计算
容器魔方12 小时前
Volcano v1.13 重磅发布!大模型训练与推理等调度能力全面增强
云原生·容器·云计算
福大大架构师每日一题15 小时前
nginx 1.29.2 发布:AWS-LC 支持、QUIC及SSL优化等重要更新
nginx·ssl·aws
qq_3391911417 小时前
aws ec服务器设置密码登录,ec服务器root登录 aws服务器初始化配置
服务器·github·aws
费益洲17 小时前
Docker 网络详解:(三)四大网络模式
docker·云计算
王道长AWS_服务器18 小时前
AWS Route 53:DNS 不止能解析,还能做全球流量调度
后端·aws
九河云18 小时前
传统数据安全措施与云计算数据安全的区别
运维·服务器·数据库·云计算