技术栈
maxcompute
ha_lydms
8 天前
大数据
·
数据仓库
·
hadoop
·
spark
·
数据处理
·
dataworks
·
maxcompute
Window Functions(窗口函数)
原文:Apache Spark SQL — Window Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 9 个函数。
ha_lydms
9 天前
xml
·
大数据
·
hadoop
·
spark
·
数据处理
·
dataworks
·
maxcompute
Xml Functions(XML 函数)
原文:Apache Spark SQL — Xml Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 12 个函数。
ha_lydms
9 天前
大数据
·
hadoop
·
spark
·
数据处理
·
dataworks
·
maxcompute
·
数据中台
Vector Functions(向量函数)
原文:Apache Spark SQL — Vector Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 7 个函数。
ha_lydms
12 天前
大数据
·
hadoop
·
阿里云
·
spark
·
数据处理
·
dataworks
·
maxcompute
Datetime Functions(日期时间函数)
原文:Apache Spark SQL — Datetime Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 82 个函数。
ha_lydms
12 天前
大数据
·
hadoop
·
阿里云
·
spark
·
数据处理
·
dataworks
·
maxcompute
Bitwise Functions(位运算函数)
原文:Apache Spark SQL — Bitwise Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 13 个函数。
ha_lydms
12 天前
大数据
·
hadoop
·
阿里云
·
spark
·
数据处理
·
dataworks
·
maxcompute
St Functions(空间函数)
原文:Apache Spark SQL — St Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 5 个函数。
ha_lydms
12 天前
大数据
·
hadoop
·
阿里云
·
spark
·
数据处理
·
dataworks
·
maxcompute
Table Functions(表函数)
原文:Apache Spark SQL — Table Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 2 个函数。
ha_lydms
13 天前
大数据
·
hadoop
·
spark
·
json
·
数据处理
·
dataworks
·
maxcompute
Json Functions(JSON 函数)
原文:Apache Spark SQL — Json Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 7 个函数。
ha_lydms
13 天前
大数据
·
hadoop
·
阿里云
·
spark
·
数据处理
·
dataworks
·
maxcompute
Conditional Functions(条件函数)
原文:Apache Spark SQL — Conditional Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 12 个函数。
ha_lydms
13 天前
大数据
·
hadoop
·
阿里云
·
spark
·
数据处理
·
dataworks
·
maxcompute
String Functions(字符串函数)
原文:Apache Spark SQL — String Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 74 个函数。
ha_lydms
1 个月前
大数据
·
数据库
·
阿里云
·
json
·
dataworks
·
maxcompute
·
odps
MaxCompute中JSON函数
MaxCompute 支持原生 JSON 数据类型。常见 JSON:JSON 函数主要解决:JSON 与 ARRAY、MAP、STRUCT 的主要区别:
阿里云大数据AI技术
1 个月前
大数据
·
人工智能
·
阿里云
·
dataworks
·
maxcompute
息壤开物 × 阿里云:为具身智能造一座“会生长的数据工厂“
《山海经》里有一种能自行生长、永不耗减的神土,名叫"息壤"。对具身智能和世界模型而言,数据就是这片土壤。机器人要操作物理世界、世界模型要预测时空演变,靠的都不是几百条精修样本,而是海量、多源、贴近真实、且经严格质检与标注的操作数据。只是这片土壤想真正"长"起来,同样面临着挑战。
ha_lydms
1 个月前
大数据
·
数据库
·
数据仓库
·
hadoop
·
dataworks
·
maxcompute
·
odps
MaxCompute中加密与解密函数
MaxCompute 的加密能力可以分成三层:简单字段加密:SYM_ENCRYPT / SYM_DECRYPT。 多密钥管理:Keyset。 更安全的 Keyset 管理:KMS Wrapped Keyset。 Keyset 加解密业务数据:ENHANCED_SYM_*。
ha_lydms
1 个月前
大数据
·
hadoop
·
阿里云
·
云计算
·
dataworks
·
maxcompute
·
odps
MaxCompute中窗口函数
窗口函数会在当前行对应的“窗口”中进行计算,同时保留原始明细行。基本结构:窗口函数与普通 GROUP BY 最大区别:
阿里云大数据AI技术
1 个月前
人工智能
·
阿里云
·
maxcompute
·
rag
·
千问
千问 APP × 阿里云:MaxCompute 向量检索重构 RAG 数据收录评估链路,一条SQL将性能提速 11 倍
评估一个领域的数据收得全不全,千问 App数据团队过去要花大半天:导出数据、发版审批、部署常驻服务、等召回跑完。现在,基于阿里云MaxCompute 多模态检索,只需一条提交即跑的数仓 SQL——全链路从约 6 小时 15 分压到约 32 分钟,全程零常驻资源。
ha_lydms
2 个月前
大数据
·
hadoop
·
hdfs
·
mapreduce
·
yarn
·
maxcompute
·
odps
HDFS的读写流程
在HDFS写数据的过程中,NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢? 节点距离:两个节点到达最近的共同祖先的距离总和。
ha_lydms
3 个月前
大数据
·
数据仓库
·
dataworks
·
maxcompute
·
hologres
·
odps
·
数据同步
使用DataWorks导入 Maxcompute 数据
DataWorks基于Hologres、MaxCompute等大数据计算引擎,为您提供专业高效、安全可靠的一站式大数据开发与治理平台。
ha_lydms
3 个月前
大数据
·
sql
·
dataworks
·
maxcompute
·
hologres
·
odps
·
datastudio
使用SQL导入MaxCompute的数据至Hologres
当MaxCompute业务数据规模超过200 GB,且查询复杂度较高、对响应时间要求达到秒级时,Hologres支持将这些数据直接导入内部表进行查询,相较于通过外部表查询方式,该方式可以设置索引,且数据查询效率更高。本文为您介绍不同场景的数据导入操作以及常见问题。 注意事项 通过SQL导入MaxCompute数据至Hologres时,您需要注意如下内容: