ODPS #MaxCompute数据开发中几个常见的异常及解决方案

异常1：分区表不允许全表扫描，必须指定分区值

FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: Table(x_mei,t_order_info) is full scan with all partitions, please specify partition predicates.

异常原因

分区表不允许全表扫描，必须指定分区值。

这个错误的意思是，在查询表 x_mei 下的 t_order_info 表时，使用了全表扫描的方式，并且没有指定任何分区谓词（partition predicates）。MaxCompute 强调了最佳实践是在处理分区表时使用分区谓词，以便优化查询性能。

解决方案

你需要检查你的查询语句，确保在查询分区表时使用了适当的分区谓词，这样可以减少查询的数据量，提高查询效率。

通常，分区谓词是基于分区列的筛选条件，用于过滤出您实际需要的数据分区，从而避免全表扫描。

其实无论是 mysql 还是 maxcompute，都不建议写 select * 扫描全表。

而如果真的需要扫描全表，则可以添加分区字段的范围查询，例如 pt >= '2022' and pt <= '2023'。养成添加分区字段筛选条件的好习惯。

异常2：多屏幕打印查询结果

FAILED: ODPS-0130071:[18,1] Semantic analysis exception - only one screen printing statement is allowed

ODPS-0130071:[20,1] Semantic analysis exception - only one screen printing statement is allowed

异常原因

这个错误是因为您的查询中包含了多个屏幕打印语句，而 MaxCompute 在一个查询中通常只允许包含一个屏幕打印语句。屏幕打印语句是用来在查询过程中输出信息到控制台，用于调试和查看查询执行的进度和结果。

解决方案

你需要检查你的查询语句，确保只包含一个屏幕打印语句。如果你需要多个信息输出，可以考虑将它们合并到一个屏幕打印语句中，或者在查询执行后进行更详细的结果分析。

异常3：语句未以分号结尾

bash 复制代码

FAILED: ODPS-0130161:[25,5] Parse exception - invalid token '<EOF>', expect 'SEMICOLON'

异常原因

这个错误表明在您的查询语句中有一个无效的标记 <EOF>，而期望的是一个分号 ;。<EOF> 表示"文件结束"，提示您的查询在这个位置提前结束，可能是由于缺少了必要的分号，或者其他语法错误导致查询无法正确解析。

解决方案

你需要仔细检查你的查询语句，确认是否缺少了分号或其他语法错误。确保每个语句都以分号结尾，并且语法是正确的。

异常4：无表查询权限

FAILED: ODPS-0130013:Authorization exception - Authorization Failed [4019], You have NO privilege 'odps:Select' on {acs:odps::projects/x_mei/tables/t_product_info}. Context ID:69158d27-2e13-4246-a1c8-55f1906b9751. --->Tips: CurrentProject:x_mei; Pricipal:RAM$aly@xxx:xxx; No permission 'odps:Select' on resource acs:odps::projects/x_mei/tables/t_product_info

异常原因

这个错误提示表明你对于 projects/x_mei/tables/t_product_info 这张表没有执行 odps:Select（查询）权限。这意味着你的帐户（RAM用户或子账户）没有足够的权限来执行这个查询操作。

解决方案

要解决这个问题，你需要进行表的查询权限申请。确保你的帐户拥有足够的权限来访问所需的资源。

异常5：ORDER BY 未配合 LIMIT 使用

FAILED: ODPS-0130071:[1,214] Semantic analysis exception - ORDER BY must be used with a LIMIT clause, please set odps.sql.validate.orderby.limit=false to use it.

异常原因

这个错误提示表明你在查询中使用了 ORDER BY 子句，但没有配合使用 LIMIT 子句。**在 MaxCompute 中，如果你使用了 ORDER BY 子句，就必须同时使用 LIMIT 子句，以限制结果集的大小。**这是为了保证查询的效率，防止不必要的资源消耗。

解决方案

解决这个问题的方法是，在你的查询语句中添加一个合适的 LIMIT 子句。例如：

sql 复制代码

SELECT column1, column2
FROM your_table
ORDER BY column1
LIMIT 100; -- 限制结果集的大小为100行

异常6：日期格式使用错误

FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: SQL Runtime Unretryable Error: ODPS-0121095:Invalid argument - format string has second part, but doesn't have minute part : yyyy-MM-dd hh:mm:ss

异常原因

这个错误提示表明你在查询中使用了日期时间格式化，但是格式字符串中有秒钟部分却没有分钟部分，导致了一个无法重试的运行时错误。

比如：

sql 复制代码

SELECT TO_DATE('2023-08-16 16:57:01', 'yyyy-MM-dd hh:mm:ss');

解决方案

你需要检查你的查询语句，特别是日期时间格式化部分。确保你的格式字符串与你的实际需求相符，并且包含了必要的时间部分，如小时（hh）和分钟（mm），以及可选的秒钟（ss）。
TO_DATE()：MaxCompute 中将 date 转换成符合 format 格式的日期值。TO_DATE() 返回 DATETIME 类型，格式为 yyyy-mm-dd hh:mi:ss。date 或 format 值为 NULL 时，返回 NULL。