openGauss Sqlines 使用指导

Sqlines 简介

Sqlines 是一款开源软件，支持多种数据库之间的 SQL 语句语法的的转换，openGauss 将此工具修改适配，新增了 openGauss 数据库选项，目前可以支持 PostgreSQL、MySQL、Oracle 向 openGauss 的 SQL 语法转换。

如何获取和使用

1、在社区下载代码到任意位置：openGauss/openGauss-tools-sqlines (gitee.com)

2、进入代码根目录下, 执行脚本编译安装 sqlines：

[user@openGauss33 sqlines]$ sh build.sh -i

3、sqlines 将安装到根目录下的/bin 文件夹下，可将其添加到环境变量方便使用：

[user@openGauss33 sqlines]$ export PATH=$PATH:`pwd`/bin

4、使用 sqlines

[user@openGauss33 sqlines]$ sqlines -?
SQLines 3.1.330 - SQL Assessment and Conversion Tool.
Portions Copyright (c) 2020 SQLines.
Portions Copyright (c) 2021 Huawei Technologies Co.,Ltd.
All Rights Reserved.

How to use:
    sqlines -option=value [...n]

Options:
   -s        - Source type
   -t        - Target type
   -in       - List of files (wildcards *.* are allowed)
   -out      - Output directory (the current directory by default)
   -log      - Log file (sqlines.log by default)
   -?        - Print how to use

Example:
Convert script.sql file from Oracle to openGauss
   ./sqlines -s=oracle -t=opengauss -in=script.sql

参数说明：

参数	值域	功能
-?	-	帮助菜单
-s	[ oracle \| mysql \| postgresql ]	Source 数据库
-t	[ opengauss ]	Target 数据库
-in	FILE_PATH	输入文件
-out	[ FILE_PATH \| /* empty */]	输出文件，不指定时输出在 in 文件夹，
-log	[ FILE_PATH \| /* empty */]	输出日志，不指定时输出在当前文件夹

5、执行脚本卸载 sqlines：

[user@openGauss33 sqlines]$ sh build.sh -m

PostgreSQL to openGauss

删除 IF

Create table IF NOT EXISTS tb as select * from basetb;
Create table IF NOT EXISTS tb as execute p1();
Create index IF NOT EXISTS idx on tb(a);
Create sequence IF NOT EXISTS sqc;
Create schema IF NOT EXISTS schm;

openGauss 中很多语法暂时不支持 if not exists 判断，因此在转换时会给删掉。

如： Create schema IF NOT EXISTS schm; => Create schema schm;

MySQL to openGauss

数据类型

MYSQL 数据类型	openGauss 数据类型	备注
TINYINT	SMALLINT
MEDIUMINT	INT
DOUBLE	DOUBLE PRECISION
FLOAT	DOUBLE PRECISION
DATETIME	TIMESTAMP
TINYBLOB	BYTEA
BLOB	BYTEA
MEDIUNBLOB	BYTEA
LONGBLOB	BYTEA
TINYTEXT	TEXT
MEDIUMTEXT	TEXT
LONGTEXT	TEXT
BINARY	BYTEA
VARBINARY	BYTEA

Mysql 中很多数据类型与 openGauss 有差别，对于表中的数据类型，可以进行转换成为 openGauss 的数据类型。

CREATE TABLE

删除 if

CREATE [TEMPORARY] TABLE [IF NOT EXISTS] tbl_name select_statement

对于 create table as 语句，openGauss 不支持使用 if not exists 判断，因此会删除 if 判断。

列约束

语法：column_definition:
  		col_name type [NOT NULL | NULL] [DEFAULT default_value] [AUTO_INCREMENT] [UNIQUE [KEY] | [PRIMARY] KEY] [COMMENT 'string'] [reference_definition]

举例：
Create table tb(a int NOT NULL, b text PRIMARY KEY, c int AUTO_INCREMENT......)括号内的部分。在创建表定义列时，可以立马为列指定很多的属性与约束，如NOT NULL等。

转换时行为如下：

AUTO_INCREMENT：在前面添加一句创建序列 SQL，并将 auto_increment 转换为 defualt nextval(seq);

COMMENT 'string'：删除

表属性

table_option:
  {ENGINE|TYPE} = engine_name
 | AUTO_INCREMENT = value
 | AVG_ROW_LENGTH = value
 | [DEFAULT] CHARACTER SET charset_name [COLLATE collation_name]
 | CHECKSUM = {0 | 1}
 | COMMENT = 'string'
 | CONNECTION = 'connect_string'
 | MAX_ROWS = value
 | MIN_ROWS = value
 | PACK_KEYS = {0 | 1 | DEFAULT}
 | PASSWORD = 'string'
 | DELAY_KEY_WRITE = {0 | 1}
 | ROW_FORMAT = {DEFAULT|DYNAMIC|FIXED|COMPRESSED|REDUNDANT|COMPACT}
 | UNION = (tbl_name[, tbl_name]...)
 | INSERT_METHOD = { NO | FIRST | LAST }
 | DATA DIRECTORY = 'absolute path to directory'
 | INDEX DIRECTORY = 'absolute path to directory'

举例：
Create table tb(a int) MAX_ROWS = 1000, CHECNSUM = 1, ......;中的MAX_ROWS等

openGauss 并不支持这个地方添加这些语法用来指定一些属性，转换时全部删除处理。

CREATE DATABASE

CREATE DATABASE [IF NOT EXISTS] db_name
    [create_specification [, create_specification] ...]

create_specification:
    [DEFAULT] CHARACTER SET charset_name
  | [DEFAULT] COLLATE = collation_name

1、openGauss 语法不支持 if 判断，转换时会删掉

2、对于创建参数，openGauss 和 mysql 也不大一样。其行为如下：

[DEFAULT] CHARACTER SET charset_name：删除

[DEFAULT] COLLATE = collation_name：将 COLLATE 转换为 LC_COLLATE

CREATE FUNCTION/PROCDURE

若不存在 or replace 则自动添加。

在 AS 后的函数体部分，前后自动添加 $$ 符号。

语言属性自动添加或修改为 language plpgsql;

SQL%NOTFOUND => NOT FOUND

SQL%FOUND => FOUND

SQL%ROWCOUNT => V_SQLROWCOUNT

CREATE INDEX

CREATE [UNIQUE | FULLTEXT | SPATIAL] INDEX index_name
    [USING index_type]
    ON tbl_name (index_col_name,...)

index_col_name:
    col_name [(length)] [ASC | DESC]

openGauss 不支持 FULLTEXT、SPATIAL 类型的 index，因此若有这两种的话，转换时会删除这两个关键字。

CREATE SCHEMA

CREATE SCHEMA [IF NOT EXISTS] db_name
[create_specification [, create_specification] ...]

create_specification:
    [DEFAULT] CHARACTER SET charset_name
  | [DEFAULT] COLLATE collation_name

1、openGauss 的语法不支持 if 判断，转换时会删掉

2、对于创建参数，openGauss 和 mysql 也不大一样。其行为如下：

[DEFAULT] CHARACTER SET charset_name：注释掉。

[DEFAULT] COLLATE collation_name: 将 COLLATE 关键字转换为 LC_COLLATE

ALTER TABLE

ALTER [IGNORE] TABLE tbl_name alter_specification [, alter_specification] ...

alter_specification:
    ADD [COLUMN] column_definition [FIRST | AFTER col_name ]
......

1、openGauss 不支持 ignore 选项，转换时会给删除。

2、ADD COLUMN 时，openGauss 不支持使用 first、after 来指定列的位置，会将其删除。

DROP INDEX

DROP INDEX index_name ON tbl_name

openGauss 不支持 on 子句，如 drop index idxa on tba，转换时会删掉 ON 子句。

INSERT

INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
    [INTO] tbl_name [(col_name,...)]
    VALUES ({expr | DEFAULT},...),(...),...
    [ ON DUPLICATE KEY UPDATE col_name=expr, ... ]

openGauss 的 insert 不支持 LOW_PRIORITY / DELAYED / HIGH_PROPRITY / IGNORE等选项，转换时会直接删掉这些选项。

UPDATE

UPDATE [LOW_PRIORITY] [IGNORE] tbl_name
    SET col_name1=expr1 [, col_name2=expr2 ...]
    [WHERE where_definition]
    [ORDER BY ...]
    [LIMIT row_count]

openGauss 不支持LOW_PRIORITY \ IGNORE 选项，转换时会直接删除

DELETE

single delete：
DELETE [LOW_PRIORITY] [QUICK] [IGNORE] FROM tbl_name
    [WHERE where_definition]
    [ORDER BY ...]
[LIMIT row_count]

muilty-delete：
DELETE [LOW_PRIORITY] [QUICK] [IGNORE]
    FROM tbl_name[.*] [, tbl_name[.*] ...]
    USING table_references
    [WHERE where_definition]

openGauss 不支持 LOW_PRIORITY \ QUICK \ IGNORE 选项，转换时会直接删除。

SELECT

SELECT
[ALL | DISTINCT | DISTINCTROW ] [HIGH_PRIORITY] [STRAIGHT_JOIN] [SQL_SMALL_RESULT] [SQL_BIG_RESULT] [SQL_BUFFER_RESULT] [SQL_CACHE | SQL_NO_CACHE] [SQL_CALC_FOUND_ROWS]
select_expr, ...
[INTO OUTFILE 'file_name' export_options | INTO DUMPFILE 'file_name']
[FROM table_references]
[WHERE where_definition]
[GROUP BY {col_name | expr | position} [ASC | DESC], ... [WITH ROLLUP]]
[HAVING where_definition]
[ORDER BY {col_name | expr | position}  [ASC | DESC] , ...]
[LIMIT {[offset,] row_count | row_count OFFSET offset}]
[FOR UPDATE | LOCK IN SHARE MODE]]

openGauss 不支持 DISTINCTROW 关键字，转换时会给删掉。

openGauss 不支持 [HIGH_PRIORITY] [STRAIGHT_JOIN] [SQL_SMALL_RESULT] [SQL_BIG_RESULT] [SQL_BUFFER_RESULT] [SQL_CACHE | SQL_NO_CACHE] [SQL_CALC_FOUND_ROWS]这些关键字，转换时都会给删除。

RENAME

RENAME TABLE tbl_name TO new_tbl_name;

支持将 rename 语法转换为 alter table rename 语法

如： RENAME TABLE tba TO tbb； => ALTER TABLE tba RENAME TO tbb;

Oracle to openGauss

数据类型

ORACLE	OPENGAUSS	备注
BINARY_FLOAT	REAL
BINARY_DOUBLE	DOUBLE PRECISION
BLOB	BYTEA
CLOB	TEXT
DATE	TIMESTAMP
FLOAT	DOUBLE PRECISION
INTERVAL YEAR(4) TO MONTH	INTERVAL YEAR TO MONTH
INTERVAL DAY(4) TO SECOND(8)	INTERVAL DAY TO SECOND(8)
TIMESTAMP WITH LOCAL TIME ZONE	TIMESTAMP WITH TIME ZONE
LONG	TEXT
LONG RAW	BYTEA
NCHAR(8)	CHAR(8)
NCHAR VARYING(7)	VARCHAR(7)
NCLOB	TEXT
NUMBER(8)	INT
NUMBER(1,0)	SMALLINT
NUMBER(4,0)	SMALLINT
NUMBER(8,0)	INT
NUMBER(12,0)	BIGINT
NUMBER(20,0)	DECIMAL(20,0)
NUMBER(10,2)	DECIMAL(10,2)
NUMBER	DOUBLE PRECISION
NUMBER(*)	DOUBLE PRECISION
NVARCHAR2(12)	VARCHAR(12)
RAW(8)	BYTEA
REAL	DOUBLE PRECISION
SMALLINT	DECIMAL(38)
UROWID(16)	VARCHAR(16)
VARCHAR2(18)	VARCHAR(18)
BFILE	VARCHAR(255)
ROWID	CHAR(10)
SYS_REFCURSOR	REFCURSOR
XMLTYPE	XML

CREATE FUNCTION/PROCDURE

没有 or replace 时会给自动添加上。

在 AS 后的函数体部分，前后自动添加 $$ 符号。

函数的语言属性自动修改或添加为 language plpgsql;

函数的 RETURN 关键字转换为 RETURNS

DBMS_OUTPUT.PUT_LINE('err'); => RAISE NOTICE '%','err';

调用传参操作符 => 会转换为 :=

EXISTS IF NOT FOUND => EXISTS

SQL%NOTFOUND => NOT FOUND

SQL%FOUND => FOUND

SQL%ROWCOUNT => V_SQLROWCOUNT

SYS_REFCURSOR => REFCURSOR

CREATE TABLE

CREATE [ GLOBAL TEMPORARY | SHARDED | DUPLICATED ] TABLE
  [ schema. ] table
  [ SHARING = { METADATA | DATA | EXTENDED DATA | NONE } ]
  { relational_table | object_table | XMLType_table }
  [ PARENT [ schema. ] table ] ;

openGauss 没有 SHARDED、 DUPLICATED 的表，转换时会删除此关键字。

openGauss 没有 SHARING 参数选项，转换时会删除此参数。

这些存储参数全部删除： SEGMENT、PCTFREE、PCTUSED、INITRANS、MAXTRANS、COMPRESS、NOCOMPRESS、NOCACHE、LOGGING、NOLOGGING、NOPARALLEL、PARALLEL、NOMONITORING、TABLESPACE 、STORAGE、LOB、COMPUTE、ENABLE、REVERSE

CREATE VIEW

CREATE [OR REPLACE]
  [[NO] FORCE] [ EDITIONING | EDITIONABLE [ EDITIONING ] | NONEDITIONABLE ]
VIEW [schema.] view
  [ SHARING = { METADATA | DATA | EXTENDED DATA | NONE } ]
  [ ( { alias [ VISIBLE | INVISIBLE ] [ inline_constraint... ]
      | out_of_line_constraint
      }
        [, { alias [ VISIBLE | INVISIBLE ] [ inline_constraint...]
           | out_of_line_constraint
           }
        ]
    )
  | object_view_clause
  | XMLType_view_clause
  ]
  [ DEFAULT COLLATION collation_name ]
  [ BEQUEATH { CURRENT_USER | DEFINER } ]
AS subquery [ subquery_restriction_clause ]
  [ CONTAINER_MAP | CONTAINERS_DEFAULT ] ;

CREATE OR REPLACE 与VIEW关键词之间的参数，[[NO] FORCE] [ EDITIONING | EDITIONABLE [ EDITIONING ] | NONEDITIONABLE ] 转换时会被删除。

[ SHARING = { METADATA | DATA | EXTENDED DATA | NONE } ]转换时会被删除。

CREATE SEQUENCE

CREATE SEQUENCE [ schema. ] sequence
  [ SHARING = { METADATA | DATA | NONE } ]
  [ { INCREMENT BY | START WITH } integer
  	| { MAXVALUE integer | NOMAXVALUE }
  	| { MINVALUE integer | NOMINVALUE }
 	| { CYCLE | NOCYCLE }
  	| { CACHE integer | NOCACHE }
  	| { ORDER | NOORDER }
  	| { KEEP | NOKEEP }
  	| { SESSION | GLOBAL }
  ]...
;

openGauss 不支持[ SHARING = { METADATA | DATA | NONE } ]，转换时会删除。

openGauss 不支持参数NOCACHE， ORDER NOORDER，KEEP， NOKEEP， SESSION， GLOBAL，转换时会删除

ALTER INDEX

ALTER INDEX [ schema. ]index
  { { deallocate_unused_clause
    	| allocate_extent_clause
    	| shrink_clause
    	| parallel_clause
    	| physical_attributes_clause
    	| logging_clause
    	| partial_index_clause
    } ...
  	| rebuild_clause [ { DEFERRED | IMMEDIATE } INVALIDATION]
  	| PARAMETERS ( 'ODCI_parameters' )
  	| COMPILE
  	| { ENABLE | DISABLE }
  	| UNUSABLE [ ONLINE ] [ { DEFERRED | IMMEDIATE } INVALIDATION ]
  	| VISIBLE | INVISIBLE
  	| RENAME TO new_name
  	| COALESCE [ CLEANUP ] [ parallel_clause ]
  	| { MONITORING | NOMONITORING } USAGE
  	| UPDATE BLOCK REFERENCES
  	| alter_index_partitioning
  }
  ;

rebuild_clause 的三个参数，转换时会给删除。

如：alter index idx rebuild immediate invalidation; => alter index idx rebuild;

ENABLE / VISABLE 关键字支持改为 REBUILD

如：alter index idx enable; => alter index idx rebuild;

DISABLE / INVLSIBLE 支持改为 UNUSABLE

如：alter index idx disable => alter index idx unusable;

openGauss 的 UNUSBALE 后面没有参数，转换时给删除

如：alter index idx ununsable online; => alter index idx ununsable;

ALTER SEQUENCE

ALTER SEQUENCE [ schema. ] sequence
  { INCREMENT BY integer
  | { MAXVALUE integer | NOMAXVALUE }
  | { MINVALUE integer | NOMINVALUE }
  | { CYCLE | NOCYCLE }
  | { CACHE integer | NOCACHE }
  | { ORDER | NOORDER }
  | { KEEP | NOKEEP }
  | { SESSION | GLOBAL }
  } ...
;

openGauss 不支持参数 { MINVALUE integer | NOMINVALUE }，{ CYCLE | NOCYCLE }，NOCACHE， { ORDER | NOORDER }， { KEEP | NOKEEP }， { SESSION | GLOBAL }，转换时会删掉。

DROP INDEX

DROP INDEX [ schema. ] index [ ONLINE ] [ FORCE ] [ { DEFERRED | IMMEDIATE } INVALIDATION ];

openGauss 仅支持 DROP INDEX name；后面的参数 ONLINE \ FORCE \ DEFERRED \ IMMEDIATE \ INVALIDATION 转换时都会删除。

DROP MATERIALIZED VIEW

DROP MATERIALIZED VIEW [ schema. ] materialized_view
   [ PRESERVE TABLE ] ;

openGauss 不支持加参数，后面的 preserve table 会被删掉。

DROP TABLE

DROP TABLE [ schema. ] table [ CASCADE CONSTRAINTS ] [ PURGE ] ;

后面的参数 cascade constraints、purge 会删掉。

DROP TABLESPACE

DROP TABLESPACE tablespace
  [ { DROP | KEEP } QUOTA ]
  [ INCLUDING CONTENTS [ { AND | KEEP } DATAFILES ] [ CASCADE CONSTRAINTS ] ]
  ;

openGauss 只支持 DROP TABLESPACE tablespace；

各种选项参数都会被删除。

DROP TYPE

DROP TYPE [ schema. ] type_name [ FORCE | VALIDATE ] ;

openGauss 不支持 FORCE \ VALIDATE 参数，转换时会删除。

DROP VIEW

DROP VIEW [ schema. ] view [ CASCADE CONSTRAINTS ] ;

参数只保留 cascade;

ANALYZE

ANALYZE
  { { TABLE [ schema. ] table
    | INDEX [ schema. ] index
    } [ partition_extension_clause ]
  | CLUSTER [ schema. ] cluster
  }
  { validation_clauses
  | LIST CHAINED ROWS [ into_clause ]
  | DELETE [ SYSTEM ] STATISTICS
  } ;

openGauss 在 analyze 后面不支持添加 TABLE \ INDEX 关键字，转换时会删除这两个关键字。

SELECT

  [ with_clause ]
SELECT [ hint ] [ { { DISTINCT | UNIQUE } | ALL } ] select_list
FROM { table_reference | join_clause | ( join_clause ) }
         [ , { table_reference | join_clause | (join_clause) } ] ...
  [ where_clause ]
  [ hierarchical_query_clause ]
  [ group_by_clause ]
  [ model_clause ]

对于某些情况，oracle 需要加 FROM DUAL，我们不需要，转换时会给删除。

如： select 1 from dual; => select 1;

我们不支持 unique 关键字，会转变为 distinct

如：select unique * from tb; => select distinct * from tb;

EXECUTE

EXECUTE IMMEDIATE function();

我们不支持 IMMEDIATE 参数，会给删除。

GRANT

GRANT USAGE ON LANGUAGE SPL TO ...

openGauss 内叫做 plpgsql，会将 SPL 关键字转换为 PLPGSQL；

REVOKE

REVOKE USAGE ON LANGUAGE SPL FROM ...

openGauss 内叫做 plpgsql，会将 SPL 关键字转换为 PLPGSQL；

RENAME

RENAME old_name TO new_name ;

支持将 rename 修改为 alter table rename

如： rename oldname to newname; => alter table oldname rename to newname;

TRUNCATE

TRUNCATE TABLE [schema.] table
  [ {PRESERVE | PURGE} MATERIALIZED VIEW LOG ]
  [ {DROP [ ALL ] | REUSE} STORAGE ] [ CASCADE ] ;

转换时最多仅会保留 truncate table name cascade；其他都会删除。

函数转换

有一些系统函数、无参函数等，是有差异的，但语义基本一样，因此可支持做一些映射

Source	openGauss	备注
Charindex（str1， str2）	Position(str1 in str2)
CURRENT DATE	CURRENT_DATE
CURRENT TIMESTAMP	CURRENT_TIMESTAMP
Convert(varchar, source)	To_char(source)
USER	CURRENT_USER
Getdate()	Now()
ISNULL(expr, replace)	COALESCE(expr, replace)
NVL(expr, expr)	COALESCE(expr, expr)
SYSDATE()	CURRENT_TIMESTAMP()
SYSTIMESTAMP	CURRENT_TIMESTAMP