hue可以插入数据到部署在docker上的cdh中的hive,但是datagrip连接的hive插入报错

4200030041 Error while processing statement: FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session a86472fe-cf0e-4a6a-ac69-214fe9c2cbb

  • datagrip连接时使用的用户名和密码都是hive(看配置文件)
  • 默认的引擎是spark,需要切换成mr,请在每个sql脚本前加上
sql 复制代码
SET hive.execution.engine=mr;

切换引擎后还是报错

08S011 Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Permission denied: user=hive, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx--- at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:506) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkTraverse(FSPermissionChecker.java:422) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:3 ...

原来是tmp文件权限问题,得去改权限

步骤 1: 进入 Namenode 容器

首先,找到 Namenode 容器的名称或 ID,并进入容器。

列出所有运行中的容器:

bash 复制代码
docker ps

确认容器名称(例如 namenode)或容器 ID。

进入 Namenode 容器:

bash 复制代码
docker exec -it namenode /bin/bash

如果 namenode 是你的容器名称,直接进入容器。

步骤 2: 检查 /tmp 的权限

进入容器后,查看 HDFS 根目录结构,确保 /tmp 存在,并检查其权限:

bash 复制代码
hdfs dfs -ls /

输出示例:

Found 2 items

drwxr-xr-x - hdfs supergroup 0 2024-12-03 12:00 /user

drwx------ - hdfs supergroup 0 2024-12-03 12:00 /tmp

如果权限不足(如 drwx------),需要进行修改。

步骤 3: 修改 /tmp 目录权限

设置 /tmp 目录为可读写:

bash 复制代码
hdfs dfs -chmod -R 1777 /tmp

1777 权限: 所有用户均可读写,并启用粘滞位(sticky bit),防止其他用户删除非自身文件。

步骤 4: 验证修改

再次检查 /tmp 目录的权限,确保更改生效:
hdfs dfs -ls /

输出示例:

Found 2 items

drwxr-xr-x - hdfs supergroup 0 2024-12-03 12:00 /user

drwxrwxrwt - hive hive 0 2024-12-03 12:05 /tmp

drwxrwxrwt: 表示权限已修改为 1777。

步骤 5: 退出容器

完成后,退出 Namenode 容器:

bash 复制代码
exit
相关推荐
随便做点啥几秒前
8×910B4-32G NPU服务器 vLLM-Ascend部署Docker安装报告
服务器·docker·vllm
代码讲故事1 分钟前
在没有kibana的ES(elasticsearch)线上生产环境集群中,如何通过命令行修改或增加字段而不需要reindex?
大数据·elasticsearch·搜索引擎·命令行·es·索引·模版
云器科技4 分钟前
美团 BI 在指标平台和分析引擎上的探索和实践
大数据
cjp5608 分钟前
008.ASP.NET WEB API 用户注册,登录API
运维·服务器
跨境猫小妹19 分钟前
多国海关字段持续细化后跨境卖家如何搭建商品信息映射表
大数据·数据库·人工智能·跨境电商·跨境·营销策略
川石课堂软件测试20 分钟前
UI自动化测试|下拉选择框&弹出框&滚动条操作实践
开发语言·python·jmeter·ui·docker·单元测试·harmonyos
Aurora_Dawn_yy22 分钟前
单机部署数据同步_jdk,mysql,kafka,flink,zookeeper,达梦,starrocks
大数据·linux·starrocks·zookeeper·达梦
“码”力全开22 分钟前
统一解耦海量设备:基于 Docker 与边缘计算的 GB28181/RTSP 视频中台全协议兼容架构解析(附源码交付)
docker·音视频·边缘计算
无聊的老谢24 分钟前
Spring Cloud Alibaba 应用的容器化部署与 K8s 编排
云原生·容器·kubernetes
sbjdhjd24 分钟前
Tomcat(下) 集群高可用实战:反向代理・负载均衡・分布式 Session
运维·前端·云原生·开源·tomcat·负载均衡·memcached