MySQL脚本转换为StarRocks完整指南

📋 概述

本指南详细说明如何将MySQL数据库脚本转换为StarRocks兼容的格式，包括语法差异、数据类型映射、最佳实践和常见问题解决方案。

🔍 MySQL与StarRocks主要差异

1. 表结构语法差异

MySQL格式

CREATE TABLE `table_name` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  `created_at` datetime(0) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

StarRocks格式

CREATE TABLE table_name (
  id INT NOT NULL,
  name VARCHAR(255) DEFAULT NULL,
  created_at DATETIME DEFAULT NULL
)
PRIMARY KEY (id)
DISTRIBUTED BY HASH (id);

2. 关键差异对比

特性	MySQL	StarRocks	说明
反引号	支持 `````	不支持	StarRocks不需要反引号
主键定义	在表内定义	在表外定义	StarRocks主键语法不同
分布键	无	必需	StarRocks需要DISTRIBUTED BY
存储引擎	ENGINE=InnoDB	自动选择	StarRocks自动优化
字符集	CHARSET=utf8	自动处理	StarRocks自动处理编码

🔄 数据类型转换映射

数值类型

MySQL	StarRocks	说明
tinyint(1)	TINYINT	8位整数
smallint(6)	SMALLINT	16位整数
int(11)	INT	32位整数
bigint(20)	BIGINT	64位整数
decimal(10,2)	DECIMAL(10,2)	精确小数
float(7,4)	FLOAT(7,4)	单精度浮点
double(15,8)	DOUBLE(15,8)	双精度浮点

字符串类型

MySQL	StarRocks	说明
char(10)	CHAR(10)	固定长度字符串
varchar(255)	VARCHAR(255)	可变长度字符串
text	STRING	长文本
longtext	STRING	超长文本
mediumtext	STRING	中等长度文本
tinytext	STRING	短文本

日期时间类型

MySQL	StarRocks	说明
date	DATE	日期
time	TIME	时间
datetime(0)	DATETIME	日期时间
timestamp(0)	DATETIME	时间戳
year(4)	SMALLINT	年份

二进制类型

MySQL	StarRocks	说明
binary(16)	BINARY(16)	固定长度二进制
varbinary(255)	VARBINARY(255)	可变长度二进制
blob	STRING	二进制大对象
longblob	STRING	长二进制对象

🛠️ 转换步骤详解

步骤1: 准备原始MySQL脚本

-- 原始MySQL脚本示例
CREATE TABLE `users` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `username` varchar(50) NOT NULL,
  `email` varchar(100) DEFAULT NULL,
  `created_at` datetime(0) DEFAULT CURRENT_TIMESTAMP,
  `updated_at` datetime(0) DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `username` (`username`),
  KEY `idx_email` (`email`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

步骤2: 手动转换规则

2.1 移除MySQL特定语法

-- 移除这些MySQL特定语法
-- ENGINE=InnoDB
-- DEFAULT CHARSET=utf8mb4
-- COLLATE=utf8mb4_unicode_ci
-- AUTO_INCREMENT
-- ON UPDATE CURRENT_TIMESTAMP

2.2 转换数据类型

-- 转换前
`id` int(11) NOT NULL AUTO_INCREMENT,
`username` varchar(50) NOT NULL,
`email` varchar(100) DEFAULT NULL,
`created_at` datetime(0) DEFAULT CURRENT_TIMESTAMP,

-- 转换后
id INT NOT NULL,
username VARCHAR(50) NOT NULL,
email VARCHAR(100) DEFAULT NULL,
created_at DATETIME DEFAULT CURRENT_TIMESTAMP,

2.3 重构主键和索引

-- 转换前
PRIMARY KEY (`id`),
UNIQUE KEY `username` (`username`),
KEY `idx_email` (`email`)

-- 转换后
PRIMARY KEY (id)
DISTRIBUTED BY HASH (id);

-- 单独创建索引
CREATE INDEX idx_username ON users(username);
CREATE INDEX idx_email ON users(email);

步骤3: 完整的StarRocks脚本

-- StarRocks转换后的完整脚本
CREATE TABLE users (
  id INT NOT NULL,
  username VARCHAR(50) NOT NULL,
  email VARCHAR(100) DEFAULT NULL,
  created_at DATETIME DEFAULT CURRENT_TIMESTAMP,
  updated_at DATETIME DEFAULT CURRENT_TIMESTAMP
)
PRIMARY KEY (id)
DISTRIBUTED BY HASH (id);

-- 创建索引
CREATE INDEX idx_username ON users(username);
CREATE INDEX idx_email ON users(email);

🔧 使用转换工具

自动转换工具

# 使用Python转换工具
python mysql_to_starrocks_converter_v2.py

转换工具功能

• ✅ 自动数据类型转换
• ✅ 移除MySQL特定语法
• ✅ 重构主键定义
• ✅ 添加分布键
• ✅ 保留注释信息

📊 实际转换示例

示例1: 基础表转换

MySQL原始脚本

CREATE TABLE `orders` (
  `order_id` bigint(20) NOT NULL AUTO_INCREMENT,
  `customer_id` int(11) NOT NULL,
  `order_date` date NOT NULL,
  `total_amount` decimal(10,2) NOT NULL,
  `status` varchar(20) DEFAULT 'pending',
  `created_at` datetime(0) DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`order_id`),
  KEY `idx_customer` (`customer_id`),
  KEY `idx_date` (`order_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

StarRocks转换后

CREATE TABLE orders (
  order_id BIGINT NOT NULL,
  customer_id INT NOT NULL,
  order_date DATE NOT NULL,
  total_amount DECIMAL(10,2) NOT NULL,
  status VARCHAR(20) DEFAULT 'pending',
  created_at DATETIME DEFAULT CURRENT_TIMESTAMP
)
PRIMARY KEY (order_id)
DISTRIBUTED BY HASH (order_id);

-- 创建索引
CREATE INDEX idx_customer ON orders(customer_id);
CREATE INDEX idx_date ON orders(order_date);

示例2: 复杂表转换

MySQL原始脚本

CREATE TABLE `product_reviews` (
  `review_id` int(11) NOT NULL AUTO_INCREMENT,
  `product_id` int(11) NOT NULL,
  `user_id` int(11) NOT NULL,
  `rating` tinyint(1) NOT NULL,
  `review_text` text,
  `helpful_votes` int(11) DEFAULT 0,
  `created_at` datetime(0) DEFAULT CURRENT_TIMESTAMP,
  `updated_at` datetime(0) DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`review_id`),
  KEY `idx_product` (`product_id`),
  KEY `idx_user` (`user_id`),
  KEY `idx_rating` (`rating`),
  KEY `idx_created` (`created_at`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

StarRocks转换后

CREATE TABLE product_reviews (
  review_id INT NOT NULL,
  product_id INT NOT NULL,
  user_id INT NOT NULL,
  rating TINYINT NOT NULL,
  review_text STRING,
  helpful_votes INT DEFAULT 0,
  created_at DATETIME DEFAULT CURRENT_TIMESTAMP,
  updated_at DATETIME DEFAULT CURRENT_TIMESTAMP
)
PRIMARY KEY (review_id)
DISTRIBUTED BY HASH (review_id);

-- 创建索引
CREATE INDEX idx_product ON product_reviews(product_id);
CREATE INDEX idx_user ON product_reviews(user_id);
CREATE INDEX idx_rating ON product_reviews(rating);
CREATE INDEX idx_created ON product_reviews(created_at);

⚠️ 注意事项和限制

1. 不支持的功能

• ❌ AUTO_INCREMENT - 需要手动处理ID生成
• ❌ ON UPDATE CURRENT_TIMESTAMP - 需要应用层处理
• ❌ 外键约束 - StarRocks不支持外键
• ❌ 存储过程和函数 - 需要重写
• ❌ 触发器 - 不支持触发器

2. 需要手动处理的情况

• 🔄 自增ID字段
• 🔄 外键关系
• 🔄 复杂约束
• 🔄 存储过程
• 🔄 自定义函数

3. 性能优化建议

• ✅ 选择合适的分布键
• ✅ 创建必要的索引
• ✅ 考虑分区策略
• ✅ 优化查询语句

🚀 最佳实践

1. 分布键选择

-- 推荐：选择查询频繁的字段作为分布键
CREATE TABLE orders (
  order_id BIGINT NOT NULL,
  customer_id INT NOT NULL,
  -- 其他字段...
)
PRIMARY KEY (order_id)
DISTRIBUTED BY HASH (customer_id);  -- 按客户ID分布

2. 索引策略

-- 为经常查询的字段创建索引
CREATE INDEX idx_order_date ON orders(order_date);
CREATE INDEX idx_customer ON orders(customer_id);
CREATE INDEX idx_status ON orders(status);

3. 分区策略

-- 对大表进行分区
ALTER TABLE orders 
PARTITION BY RANGE(order_date) (
    PARTITION p202401 VALUES [('2024-01-01'), ('2024-02-01')),
    PARTITION p202402 VALUES [('2024-02-01'), ('2024-03-01')),
    PARTITION p202403 VALUES [('2024-03-01'), ('2024-04-01'))
);

🔍 验证和测试

1. 语法验证

-- 检查表结构
DESCRIBE table_name;

-- 查看表信息
SHOW CREATE TABLE table_name;

2. 数据验证

-- 检查数据行数
SELECT COUNT(*) FROM table_name;

-- 检查数据样本
SELECT * FROM table_name LIMIT 10;

3. 性能测试

-- 测试查询性能
EXPLAIN SELECT * FROM table_name WHERE id = 1;

-- 检查索引使用情况
SHOW INDEX FROM table_name;

📚 参考资源

官方文档

• StarRocks官方文档
• StarRocks数据类型
• StarRocks建表语句

工具和脚本

• mysql_to_starrocks_converter_v2.py - 自动转换工具
• fnpt_starrocks_correct.sql - 转换示例
• fnpt_starrocks_optimization.sql - 优化建议

🎯 总结

MySQL到StarRocks的转换主要涉及：

1. 语法调整 - 主键定义、分布键添加
2. 数据类型映射 - 确保兼容性
3. 索引重构 - 单独创建索引
4. 性能优化 - 选择合适的分布键和分区策略

通过本指南，你可以成功将MySQL脚本转换为StarRocks兼容的格式，并充分利用StarRocks的性能优势。