StarRocks × MinIO：打造灵活高效的存算分离方案

"存算分离"（Decoupled Storage and Compute）是一种在现代数据系统中被广泛采用的架构设计。它将计算和存储解耦，使二者可以独立扩展，提升资源利用率并降低运维成本。StarRocks 从 3.0 版本开始支持这一架构，允许用户将数据存储从计算节点中剥离，实现更灵活、弹性的系统部署。

在这种架构中，计算层由数据库引擎负责，存储则交由对象存储系统承担。对象存储的实现方式有很多，包括各大公有云厂商提供的服务以及一些开源方案。我们在本文中选择 MinIO 作为示例，是因为它开源、高性能、支持 S3 协议，并且非常适合用于本地测试或私有部署。

MinIO 和 StarRocks 的组合正是存算分离架构的一个实践案例。MinIO 提供可靠的对象存储能力，StarRocks 专注于查询加速与计算优化，二者结合，在实时和离线分析场景下都能提供良好的性能表现与灵活性。

此外，两者都支持 Kubernetes 原生部署，可以轻松集成到现代云原生平台中。用户无需绑定特定云厂商，也可以通过简单的 YAML 文件，在本地或云上快速搭建和演进整个数据平台。这种部署模式对于开发测试、混合云、边缘计算等场景尤其友好。

下面我们将提供一份实践教程，介绍如何使用 MinIO 作为主存储，配合 StarRocks 构建起一套完整的数据分析环境。如需详细的配置说明，可参考文末链接至 StarRocks 官方文档。

存算分离架构的优势

在引入存算分离架构的同时，StarRocks 也提供了本地缓存机制，用于降低远程对象存储访问频次，从而提高数据读取性能，缓解网络瓶颈。整体优势包括：

成本控制：计算和存储资源可独立扩展，按需配置，避免资源浪费；
部署灵活：可根据业务场景自由组合不同的计算与存储系统；
弹性扩展：适配动态负载需求，计算与存储节点可分别扩容；
查询性能优化：结合本地缓存机制，提升对热点数据的访问效率；
可维护性更高：工作负载可在不同资源池之间迁移，方便运维管理；
资源隔离更清晰：适用于多租户、不同业务线的资源划分需求。

快速开始

接下来你将学到如何在 Docker 容器中运行 StarRocks 和 MinIO，配置 StarRocks 以使用共享存储，加载两个公开数据集，并使用 SQL 进行数据探索。

前置条件

你需要安装：

curl：用于下载 YAML 和数据文件；
Docker Compose：推荐直接安装 Docker Desktop，它包含了 Docker Engine 和 Compose；
验证安装情况：

docker compose version
SQL 客户端：比如 DBeaver 或 MySQL CLI。

本教程中的 MySQL 实例可以通过 MySQL CLI 访问，因此不需要额外依赖。当然，你也可以下载 DBeaver 或 MySQL Workbench 来获得更好的使用体验。

开始使用

创建工作目录并下载 Docker Compose 文件：

mkdir sr-quickstart
cd sr-quickstart
curl -O https://raw.githubusercontent.com/StarRocks/demo/master/documentation-samples/quickstart/docker-compose.yml
使用以下命令让 Docker Compose 在后台启动 docker-compose.yml 文件中定义的所有容器：

docker compose up -d

MinIO 设置

你可以通过 MinIO 控制台或使用 mc 来操作 MinIO。以下截图和说明基于 MinIO 控制台。

打开浏览器访问：http://localhost:9001/access-keys。用户名和密码在 Docker Compose 文件中已配置，默认是 minioadmin:minioadmin。

点击 "Create access key +"，然后点击 "Create"。

连接 SQL 客户端（以 DBeaver 为例）

你需要连接到一个 SQL 客户端来操作数据。你可以选择使用 DBeaver。在 DBeaver 中创建一个新的数据库连接，然后选择 MySQL 数据库驱动：

端口：9030
地址：localhost
用户名：root

测试连接成功后点击 Finish。

或者你更习惯使用命令行，也可以在 starrocks-fe 容器中使用 MySQL CLI。要连接到 StarRocks，请进入包含 docker-compose.yml 的目录，并运行以下命令：

复制代码

docker compose exec starrocks-fe \
mysql -P9030 -h127.0.0.1 -uroot --prompt="StarRocks > "

创建 Bucket

在你的 SQL 客户端中运行以下命令，确保使用你之前在 MinIO 控制台中创建的 Access Key 和 Secret：

复制代码

CREATE STORAGE VOLUME shared
TYPE = S3
LOCATIONS = ("s3://starrocks/shared/")
PROPERTIES
(
   "enabled" = "true",
   "aws.s3.endpoint" = "http://minio:9000",
   "aws.s3.use_aws_sdk_default_behavior" = "false",
   "aws.s3.enable_ssl" = "false",
   "aws.s3.use_instance_profile" = "false",
   "aws.s3.access_key" = "{你的 Access Key}",
   "aws.s3.secret_key"= "{你的 Secret Key}"
);
SET shared AS DEFAULT STORAGE VOLUME;

访问 http://localhost:9001/buckets，确认名为 starrocks 的 bucket 是否已成功创建。

下载数据

在终端中运行以下命令，打开 starrocks-fe 容器中的 Bash shell，这样你就可以访问容器的文件系统并在其中执行命令：

复制代码

docker compose exec starrocks-fe bash

运行以下命令，在容器内创建一个 quickstart 目录：

复制代码

mkdir quickstart
cd quickstart

接着运行以下命令，将两个数据集下载到刚刚创建的文件夹中：

复制代码

curl -O https://raw.githubusercontent.com/StarRocks/demo/master/documentation-samples/quickstart/datasets/NYPD_Crash_Data.csv

curl -O https://raw.githubusercontent.com/StarRocks/demo/master/documentation-samples/quickstart/datasets/72505394728.csv

创建数据库与表

在使用 SQL 客户端连接到 StarRocks 的终端窗口中，看到 StarRocks > 提示符后，运行以下命令。

复制代码

CREATE DATABASE IF NOT EXISTS quickstart;

USE quickstart;

你的终端应该类似如下所示：

复制代码

StarRocks > CREATE DATABASE IF NOT EXISTS quickstart;
Query OK, 0 rows affected (0.02 sec)
StarRocks > USE quickstart;
Database changed
StarRocks >

在 SQL 客户端中创建表

返回 DBeaver 或你选择的其他 SQL 客户端，执行以下命令为数据创建表：

复制代码

USE quickstart;


CREATE TABLE IF NOT EXISTS crashdata (
   CRASH_DATE DATETIME,
   BOROUGH STRING,
   ZIP_CODE STRING,
   LATITUDE INT,
   LONGITUDE INT,
   LOCATION STRING,
   ON_STREET_NAME STRING,
   CROSS_STREET_NAME STRING,
   OFF_STREET_NAME STRING,
   CONTRIBUTING_FACTOR_VEHICLE_1 STRING,
   CONTRIBUTING_FACTOR_VEHICLE_2 STRING,
   COLLISION_ID INT,
   VEHICLE_TYPE_CODE_1 STRING,
   VEHICLE_TYPE_CODE_2 STRING
);

CREATE TABLE IF NOT EXISTS weatherdata (
   DATE DATETIME,
   NAME STRING,
   HourlyDewPointTemperature STRING,
   HourlyDryBulbTemperature STRING,
   HourlyPrecipitation STRING,
   HourlyPresentWeatherType STRING,
   HourlyPressureChange STRING,
   HourlyPressureTendency STRING,
   HourlyRelativeHumidity STRING,
   HourlySkyConditions STRING,
   HourlyVisibility STRING,
   HourlyWetBulbTemperature STRING,
   HourlyWindDirection STRING,
   HourlyWindGustSpeed STRING,
   HourlyWindSpeed STRING
);

加载数据

切换到你之前下载数据集的终端，在 starrocks-fe 容器中的 shell 中执行以下 curl 命令。当提示输入密码时，直接按回车键即可。

复制代码

curl --location-trusted -u root             \
    -T ./NYPD_Crash_Data.csv                \
    -H "label:crashdata-0"                  \
    -H "column_separator:,"                 \
    -H "skip_header:1"                      \
    -H "enclose:\""                         \
    -H "max_filter_ratio:1"                 \
    -H "columns:tmp_CRASH_DATE, tmp_CRASH_TIME, CRASH_DATE=str_to_date(concat_ws(' ', tmp_CRASH_DATE, tmp_CRASH_TIME), '%m/%d/%Y %H:%i'),BOROUGH,ZIP_CODE,LATITUDE,LONGITUDE,LOCATION,ON_STREET_NAME,CROSS_STREET_NAME,OFF_STREET_NAME,NUMBER_OF_PERSONS_INJURED,NUMBER_OF_PERSONS_KILLED,NUMBER_OF_PEDESTRIANS_INJURED,NUMBER_OF_PEDESTRIANS_KILLED,NUMBER_OF_CYCLIST_INJURED,NUMBER_OF_CYCLIST_KILLED,NUMBER_OF_MOTORIST_INJURED,NUMBER_OF_MOTORIST_KILLED,CONTRIBUTING_FACTOR_VEHICLE_1,CONTRIBUTING_FACTOR_VEHICLE_2,CONTRIBUTING_FACTOR_VEHICLE_3,CONTRIBUTING_FACTOR_VEHICLE_4,CONTRIBUTING_FACTOR_VEHICLE_5,COLLISION_ID,VEHICLE_TYPE_CODE_1,VEHICLE_TYPE_CODE_2,VEHICLE_TYPE_CODE_3,VEHICLE_TYPE_CODE_4,VEHICLE_TYPE_CODE_5" \
    -XPUT http://localhost:8030/api/quickstart/crashdata/_stream_load

curl --location-trusted -u root             \
    -T ./72505394728.csv                    \
    -H "label:weather-0"                    \
    -H "column_separator:,"                 \
    -H "skip_header:1"                      \
    -H "enclose:\""                         \
    -H "max_filter_ratio:1"                 \
    -H "columns: STATION, DATE, LATITUDE, LONGITUDE, ELEVATION, NAME, REPORT_TYPE, SOURCE, HourlyAltimeterSetting, HourlyDewPointTemperature, HourlyDryBulbTemperature, HourlyPrecipitation, HourlyPresentWeatherType, HourlyPressureChange, HourlyPressureTendency, HourlyRelativeHumidity, HourlySkyConditions, HourlySeaLevelPressure, HourlyStationPressure, HourlyVisibility, HourlyWetBulbTemperature, HourlyWindDirection, HourlyWindGustSpeed, HourlyWindSpeed, Sunrise, Sunset, DailyAverageDewPointTemperature, DailyAverageDryBulbTemperature, DailyAverageRelativeHumidity, DailyAverageSeaLevelPressure, DailyAverageStationPressure, DailyAverageWetBulbTemperature, DailyAverageWindSpeed, DailyCoolingDegreeDays, DailyDepartureFromNormalAverageTemperature, DailyHeatingDegreeDays, DailyMaximumDryBulbTemperature, DailyMinimumDryBulbTemperature, DailyPeakWindDirection, DailyPeakWindSpeed, DailyPrecipitation, DailySnowDepth, DailySnowfall, DailySustainedWindDirection, DailySustainedWindSpeed, DailyWeather, MonthlyAverageRH, MonthlyDaysWithGT001Precip, MonthlyDaysWithGT010Precip, MonthlyDaysWithGT32Temp, MonthlyDaysWithGT90Temp, MonthlyDaysWithLT0Temp, MonthlyDaysWithLT32Temp, MonthlyDepartureFromNormalAverageTemperature, MonthlyDepartureFromNormalCoolingDegreeDays, MonthlyDepartureFromNormalHeatingDegreeDays, MonthlyDepartureFromNormalMaximumTemperature, MonthlyDepartureFromNormalMinimumTemperature, MonthlyDepartureFromNormalPrecipitation, MonthlyDewpointTemperature, MonthlyGreatestPrecip, MonthlyGreatestPrecipDate, MonthlyGreatestSnowDepth, MonthlyGreatestSnowDepthDate, MonthlyGreatestSnowfall, MonthlyGreatestSnowfallDate, MonthlyMaxSeaLevelPressureValue, MonthlyMaxSeaLevelPressureValueDate, MonthlyMaxSeaLevelPressureValueTime, MonthlyMaximumTemperature, MonthlyMeanTemperature, MonthlyMinSeaLevelPressureValue, MonthlyMinSeaLevelPressureValueDate, MonthlyMinSeaLevelPressureValueTime, MonthlyMinimumTemperature, MonthlySeaLevelPressure, MonthlyStationPressure, MonthlyTotalLiquidPrecipitation, MonthlyTotalSnowfall, MonthlyWetBulb, AWND, CDSD, CLDD, DSNW, HDSD, HTDD, NormalsCoolingDegreeDay, NormalsHeatingDegreeDay, ShortDurationEndDate005, ShortDurationEndDate010, ShortDurationEndDate015, ShortDurationEndDate020, ShortDurationEndDate030, ShortDurationEndDate045, ShortDurationEndDate060, ShortDurationEndDate080, ShortDurationEndDate100, ShortDurationEndDate120, ShortDurationEndDate150, ShortDurationEndDate180, ShortDurationPrecipitationValue005, ShortDurationPrecipitationValue010, ShortDurationPrecipitationValue015, ShortDurationPrecipitationValue020, ShortDurationPrecipitationValue030, ShortDurationPrecipitationValue045, ShortDurationPrecipitationValue060, ShortDurationPrecipitationValue080, ShortDurationPrecipitationValue100, ShortDurationPrecipitationValue120, ShortDurationPrecipitationValue150, ShortDurationPrecipitationValue180, REM, BackupDirection, BackupDistance, BackupDistanceUnit, BackupElements, BackupElevation, BackupEquipment, BackupLatitude, BackupLongitude, BackupName, WindEquipmentChangeDate" \
    -XPUT http://localhost:8030/api/quickstart/weatherdata/_stream_load

完成后，返回浏览器访问 http://localhost:9001，确认数据是否已成功上传到 MinIO。

查询数据

回到你的 SQL 客户端，我们来对刚才加载的数据运行一些查询。首先，我们通过查询来了解降水、交通事故与星期几/时间之间的关系：

复制代码

SELECT COUNT(DISTINCT c.COLLISION_ID) AS Crashes,
       TRUNCATE(AVG(w.HourlyDryBulbTemperature), 1) AS Temp_F,
       MAX(w.HourlyPrecipitation) AS Precipitation,
       DATE_FORMAT(c.CRASH_DATE, '%d %b %Y %H:00') AS Hour
FROM crashdata c
LEFT JOIN weatherdata w
ON DATE_FORMAT(c.CRASH_DATE, '%Y-%m-%d %H:00:00') = DATE_FORMAT(w.DATE, '%Y-%m-%d %H:00:00')
WHERE DAYOFWEEK(c.CRASH_DATE) BETWEEN 2 AND 6
GROUP BY Hour
ORDER BY Crashes DESC
LIMIT 200;

开放表格式+对象存储实践

最后，我们再放上 StarRocks x Apache Iceberg/Hudi x MinIO 的视频 demo，只要短短几分钟就可以完成数据入湖到可视化：

Apache Iceberg：https://www.bilibili.com/video/BV1ET42167TY/
Apache Hudi：https://www.bilibili.com/video/BV1G45PzHEuF/