OceanBase v4.2 特性解析:对Json与Xml的扩展支持

1. 背景

OceanBase的Oracle模式当前已实现对XMLType类型的支持,不仅包含了基本的构造、查询、更新以及格式转换功能,还支持使用Xpath查询从XML数据中提取特定值。在V 4.2.2 版本中,我们进一步扩展了Oracle模式下对XMLType的支持,新增了通过XMLTable将XML数据转换为关系表的能力,同时提供了在XML中删除和插入特定片段的功能。此外,OB在MySQL模式下也提供了与MySQL 8.0相同的XML表达式。

关于Json,本期特性在 MySQL模式下,补充了JSON Schema的校验能力,MySQL模式已经支持了MySQL 8.0的所有Json表达式;此外,在OB-Oracle模式下补充了PL下的JSON_ARRAY_T类型。

1.1. XML部分

特性1: 将XML数据从半结构化数据转为结构化数据

新增XMLTABLE、XMLSEQUENCE两个表达式,在原来增删改查的基础上拓展了XML功能。

XMLTABLE能力包括:

  1. 数据抽取能力。

XMLTABLE中可以指定父xpath抽取所需数据。

  1. 半结构化数据结构化能力。

XMLTABLE可以将XML数据的各个部分映射到虚拟表的行和列中,生成一个结构化的表信息,方便查询。也可以将生成的虚拟表插入到新表或者视图中。

XMLSEQUENCE将一个XML中的顶层原元素放到一个数组中,结合Table函数也可实现部分XMLTABLE的能力。

特性2: 补充对XML内容修改的能力

  • 插入: INSERTCHILDXML在XML内容中插入指定XML片段;
  • 删除: DELETEXML删除指定XML片段。

特性3: MySQL模式下的XML功能

补充MySQL的XML表达式功能:EXTRACTVALUE、UPDATEXML。

1.2. JSON部分

特性1: JSON SCHEMA功能支持

新增JSON SCHEMA相关2个表达式:JSON_SCHEMA_VALID和JSON_SCHEMA_VALIDATION_REPORT。使用JSON SCHEMA 验证输入的JSON数据是否符合要求。

特性2: JSON表达式补齐

补充JSON_ARRAY_T、JSON_ARRAY_APPEND表达式。

2. 使用操作

2.1. 本次特性支持的表达式总览

|--------|-------------------------------|----------------------------------|
| 模块 | 表达式名称 | 功能简述 |
| MySQL | JSON_SCHEMA_VALID | 符合SCHEMA则返回true,不符合则返回false。 |
| MySQL | JSON_SCHEMA_VALIDATION_REPORT | 返回JSON SCHEMA验证报告,验证报告为JSON格式。 |
| Oracle | INSERTCHILDXML | 插入孩子节点到XML中。 |
| Oracle | DELETEXML | 删除xpath表达式再XML中匹配的一个或多个节点。 |
| MySQL | EXTRACTVALUE | 依据Xpath抽取一个XML片段,返回文本内容。 |
| MySQL | UPDATEXML | 更新指定XML。 |
| MySQL | JSON_ARRAY_APPEND | 追加值到指定路径所指向的JSON数据的末尾,并返回追加后的结果。 |
| Oracle | XMLTABLE | 将 Xpath 返回的结果映射到关系表的行和列中。 |
| Oracle | XMLSEQUENCE | 生成包含XML文档内容的XML array。 |
| Oracle | JSON_ARRAY_T | 生成JSON_ARRAY_T类型,并提供相关udf使用 |

2.2. JSON SCHEMA表达式

JSON SCHEMA 是描述 JSON 格式的一个标准模板,用于验证输入的JSON数据是否符合要求。JSON SCHEMA 本身也是一个 JSON数据,且一定是Object类型。使用Json Schema进行校验时,会同步遍历Schema和校验数据,根据遍历到的数据对应的规范去检验是否符合要求。

2.2.1. JSON_SCHEMA_VALID

符合SCHEMA则返回true,不符合则返回false。可用作列约束。

-- 符合JSON SCHEMA规范返回1, 不符合则返回0
MySQL [mydb]> SELECT JSON_SCHEMA_VALID('{"type": "string"}', '"JSON_doc"');
+-------------------------------------------------------+
| JSON_SCHEMA_VALID('{"type": "string"}', '"JSON_doc"') |
+-------------------------------------------------------+
|                                                     1 |
+-------------------------------------------------------+
1 row in set (0.00 sec)

2.2.2. JSON_SCHEMA_VALIDATION_REPORT

返回验证报告,验证报告为JSON格式;

MySQL [mydb]> SELECT JSON_SCHEMA_VALIDATION_REPORT('{"type": "string"}', '"JSON_doc"');
+-------------------------------------------------------------------+
| JSON_SCHEMA_VALIDATION_REPORT('{"type": "string"}', '"JSON_doc"') |
+-------------------------------------------------------------------+
| {"valid": true}                                                   |
+-------------------------------------------------------------------+
1 row in set (0.00 sec)

2.3. Table相关表达式

2.3.1. Oracle XMLTABLE

XMLTABLE将 Xpath 返回的结果映射到关系行和列中。您可以使用 SQL 将函数返回的结果作为虚拟关系表进行查询。

OceanBase(SYS@SYS)>SELECT * FROM 
    -> XMLTABLE('/ROWS/ROW' 
    -> passing XMLtype(
    ->   '<ROWS>
    '>   <ROW id="20">
    '>   <COUNTRY_ID>EG</COUNTRY_ID>
    '>   <COUNTRY_NAME>Egypt</COUNTRY_NAME>
    '>   <REGION_ID>1</REGION_ID>
    '>   </ROW>
    '>   </ROWS>')) XMLTABLE;
+---------------------------------------------------------------------------------------------------------------------+
| COLUMN_VALUE                                                                                                        |
+---------------------------------------------------------------------------------------------------------------------+
| <ROW id="20">
  <COUNTRY_ID>EG</COUNTRY_ID>
  <COUNTRY_NAME>Egypt</COUNTRY_NAME>
  <REGION_ID>1</REGION_ID>
</ROW>
 |
+---------------------------------------------------------------------------------------------------------------------+
1 row in set (0.005 sec)

2.3.2. Oracle XMLSEQUENCE

返回一个varray,其中包括输入XML数据的所有顶层节点。

OceanBase(SYS@SYS)>SELECT rownum,
    ->   column_value
    -> FROM TABLE(XMLSEQUENCE(extract(XMLtype('<Videogame>
    '> <Type>Racing</Type>
    '> <Name>NFS Most Wanted</Name>
    '> <Version>2.0</Version>
    '> <Size>5.5 GB</Size>
    '> </Videogame>'),'/Videogame/*')));
+--------+-------------------------------+
| ROWNUM | COLUMN_VALUE                  |
+--------+-------------------------------+
|      1 | <Type>Racing</Type>
          |
|      2 | <Name>NFS Most Wanted</Name>
 |
|      3 | <Version>2.0</Version>
       |
|      4 | <Size>5.5 GB</Size>
          |
+--------+-------------------------------+
4 rows in set (0.051 sec)

2.4. 修改XML数据的表达式

2.4.1. Oracle INSERTCHILDXML

在xpath指定的位置插入孩子节点到XML中。

OceanBase(SYS@SYS)>select INSERTCHILDXML(XMLtype(
    ->   '<bookstore><book att="old"></book>
    '>    <author>carrot</author>
    '>    </bookstore>'), 
    ->   '/bookstore', 
    ->   'price', 
    ->   XMLtype('<price>99.9</price>')) 
    -> as result from dual;
+-----------------------------------------------------------------------------------------------+
| RESULT                                                                                        |
+-----------------------------------------------------------------------------------------------+
| <bookstore>
  <book att="old"/>
  <author>carrot</author>
  <price>99.9</price>
</bookstore>
 |
+-----------------------------------------------------------------------------------------------+
1 row in set (0.007 sec)

2.4.2. Oracle DELETEXML

删除xpath表达式在XML中匹配的一个或多个节点。

OceanBase(SYS@SYS)>select DELETEXML(XMLtype('<bookstore>
    '> <book att="old"></book>
    '> <author>carrot</author>
    '> </bookstore>'), 
    -> '/bookstore/author')
    -> as result
    -> from dual;
+-----------------------------------------------+
| RESULT                                        |
+-----------------------------------------------+
| <bookstore>
  <book att="old"/>
</bookstore>
 |
+-----------------------------------------------+
1 row in set (0.006 sec)

2.4.3. MySQL EXTRACTVALUE

依据Xpath抽取一个XML片段,返回文本内容。

OceanBase(root@test)>select EXTRACTVALUE('<a><b>x</b><b>y</b></a>', '/a/b') ;
+-------------------------------------------------+
| EXTRACTVALUE('<a><b>x</b><b>y</b></a>', '/a/b') |
+-------------------------------------------------+
| x y                                             |
+-------------------------------------------------+
1 row in set (0.003 sec)

2.4.4. MySQL UPDATEXML

将XML中被Xpath指定的部分替换为新值。

OceanBase(root@test)>select UPDATEXML('<a/><b/>', '/a', '<x>carrot</x>');
+----------------------------------------------+
| UPDATEXML('<a/><b/>', '/a', '<x>carrot</x>') |
+----------------------------------------------+
| <x>carrot</x><b></b>                         |
+----------------------------------------------+
1 row in set (0.003 sec)

2.5. 修改JSON数据的表达式

2.5.1. JSON_ARRAY_APPEND

JSON_APPEND用于追加值到指定路径所指向的JSON数据的末尾,并返回追加后的结果。如果是数组,将追加到数组的最后,如果是非数组,则会自动生成一个JSON array并返回结果。

SET @j = '["a", ["b", "c"], "d"]';
SELECT JSON_APPEND(@j, '$[1]', 1);
+----------------------------------+
| JSON_APPEND(@j, '$[1]', 1) |
+----------------------------------+
| ["a", ["b", "c", 1], "d"]        |
+----------------------------------+

2.6. Oracle JSON表达式

2.6.1. JSON_ARRAY_T

2.6.1.1. 构造函数

构造JSON_ARRAY_T

declare
  jo JSON_ARRAY_T;
begin
  jo := JSON_ARRAY_T('[123]');
  dbms_output.put_line(jo.to_String);
end;
/
2.6.1.2. 通过下标获取元素
declare
  jo JSON_ARRAY_T;
  jo_val JSON_ELEMENT_T;
begin
  jo := JSON_ARRAY_T.parse('[123,{"abc":456},[789], true, null,"test"]');
  FOR I IN 0 .. 5 LOOP
    jo_val := jo.get(i);
    dbms_output.put_line(jo_val.to_String);
  END LOOP;
end;
/

3. 未来规划

Oracle模式下,基于高频用户场景进一步补充 XML,和Json能力,如PL下的XMLGEN,XMLDOM package。MySQL模式下的XML,JSON表达式能力已经与MySQL 8.0完全对齐,MySQL模式下的JSON多值索引已在近期规划中,未来也有计划对JSON场景做进一步的性能优化。

相关推荐
黎明晓月19 小时前
PostgreSQL提取JSON格式的数据(包含提取list指定索引数据)
postgresql·json·list
OceanBase数据库官方博客1 天前
OceanBase 中常用的查询语句
sql·oceanbase·分布式数据库·查询语句
心死翼未伤1 天前
python从入门到精通:pyspark实战分析
开发语言·数据结构·python·spark·json
Mephisto.java2 天前
【大数据学习 | flume】flume Sink Processors与拦截器Interceptor
大数据·sql·oracle·sqlite·json·flume
ac-er88882 天前
ThinkPHP中使用ajax接收json数据的方法
前端·ajax·json·php
0x派大星2 天前
【Golang】——Gin 框架中的 API 请求处理与 JSON 数据绑定
开发语言·后端·golang·go·json·gin
不能只会打代码2 天前
支持用户注册和登录、发布动态、点赞、评论、私信等功能的社交媒体平台创建!!!
前端·css·后端·html·json·媒体·社交媒体平台
愚公码农3 天前
MySQL json字段索引添加及使用
数据库·mysql·json
拧螺丝专业户3 天前
gin源码阅读(2)请求体中的JSON参数是如何解析的?
前端·json·gin
Mephisto.java3 天前
【大数据学习 | Spark】yarn-client与yarn-cluster的区别
大数据·sql·oracle·spark·json·database