技术栈
hive
二进制_博客
2 天前
hive
·
mysql
·
sqoop
sqoop从hive导出mysql常见错误汇总
使用 sqoop 将其中一个表导入 hive:选择 sqoop 的原因是,datax 不能直接将 mysql 的数据导入 hive,需要提前创建表,然后将数据导入表对应的 hdfs 上。
hzp666
2 天前
大数据
·
hive
·
分布式
·
spark
·
etl
·
partitionover
spark动态分区参数spark.sql.sources.partitionOverwriteMode
Attention:这个搞不好整个表数据就干没了spark.sql.sources.partitionOverwriteMode
yumgpkpm
3 天前
hive
·
hadoop
·
redis
·
mongodb
·
elasticsearch
·
hbase
·
big data
CMP(类ClouderaCDP7.3(404次编译) )完全支持华为鲲鹏Aarch64(ARM),粉丝数超过200就开源下载
CMP(类ClouderaCDP7.3(404次编译) )完全支持华为鲲鹏Aarch64(ARM),粉丝数超过200就开源下载
励志成为糕手
4 天前
大数据
·
数据仓库
·
hive
·
1024程序员节
·
hql
Hive数据仓库:架构原理与实践指南
🌟 你好,我是 励志成为糕手 ! 🌌 在代码的宇宙中,我是那个追逐优雅与性能的星际旅人。 ✨ 每一行代码都是我种下的星光,在逻辑的土壤里生长成璀璨的银河; 🛠️ 每一个算法都是我绘制的星图,指引着数据流动的最短路径; 🔍 每一次调试都是星际对话,用耐心和智慧解开宇宙的谜题。 🚀 准备好开始我们的星际编码之旅了吗?
通往曙光的路上
5 天前
数据仓库
·
hive
·
hadoop
day17_cookie_webstorage
浏览器中需要有存储数据的技术 从而释放服务端的存储压力1 存在浏览器中2 按域(domian 域名) 存储
随心............
7 天前
hive
·
hadoop
·
sqoop
sqoop采集完成后导致hdfs数据与Oracle数据量不符的问题。怎么解决?
sqoop以文本格式导入数据时,默认的换行符是特殊字符当oracle中的数据列中出现了\n、\r、\t等特殊符号,就会被划分为多行
随心............
8 天前
大数据
·
hive
·
spark
yarn面试题
资源问题:application master就没有启动环境问题:nodemanager进程问题:进程存在,但不工作
随心............
9 天前
hive
·
hadoop
·
spark
在开发过程中遇到问题如何解决,以及两个经典问题
问题:思路现象:异常python:error:错误信息java:throw exception:错误信息
yumgpkpm
9 天前
数据库
·
数据仓库
·
hive
·
hadoop
·
flink
·
mapreduce
·
big data
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境 查询2100w行 hive 查询策略
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境 查询2100w行hive查询策略
starfalling1024
10 天前
hive
【hive】一种高效增量表的实现
还有算法诸如:row_number()暴力去重等等最简洁算法演示 旧数据:1,2,3,4,5 新数据:4,5,6,7
D明明就是我
11 天前
数据仓库
·
hive
·
hadoop
Hive 拉链表
在实现数据仓库数据同步的过程中,我们必须保证Hive中的数据与MySQL中的数据是一致的,这样才能确保我们最终分析出来的结果是准确的,没有问题的,但是在实现同步的过程中,这里会面临一个问题:如果MySQL中的数据发生了修改,Hive中如何存储被修改的数据? 例如以下情况 2021-01-01:MySQL中有10条用户信息 2021-01-02:Hive进行数据分析,将MySQL中的数据同步 2021-01-02:MySQL中新增2条用户注册数据,并且有1条用户数据发生更新 2021-01-03:Hive需
嘉禾望岗503
11 天前
数据仓库
·
hive
·
hadoop
hive join优化和数据倾斜处理
使用Hive Join语句时,如果数据量大,可能造成SQL执行速度和查询速度慢,可以进行join优化,Join优化可分为Map Join、Bucket Map Join、Sort Merge Bucket MapJoin、Join 顺序优化。
yumgpkpm
11 天前
大数据
·
hive
·
hadoop
·
elasticsearch
·
zookeeper
·
big data
·
cloudera
华为鲲鹏 Aarch64 环境下多 Oracle 数据库汇聚操作指南 CMP(类 Cloudera CDP 7.3)
CMP(类 Cloudera CDP 7.3)在华为鲲鹏 Aarch64(ARM)信创环境下,汇聚多个 Oracle 数据库 的操作指南
忧郁火龙果
11 天前
数据仓库
·
hive
·
hadoop
六、Hive的基本使用
忧郁火龙果
11 天前
数据仓库
·
hive
·
hadoop
五、安装配置hive
mysq启动成功查看密码修改密码后重新登录vim core-site.xml添加以下内容步骤一:切换到root用户
chad__chang
11 天前
hive
·
hadoop
dolphinscheduler安装过程
今天分享的是dolphinscheduler2.0.5的安装此文是有root权限的安装 如需无root权限安装请点击:无root安装
yumgpkpm
13 天前
大数据
·
hive
·
hadoop
·
zookeeper
·
big data
·
cloudera
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境多个mysql数据库汇聚的操作指南
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境多个mysql数据库汇聚的操作指南
夫唯不争,故无尤也
14 天前
java
·
数据仓库
·
hive
·
hadoop
·
maven
Maven创建Java项目实战全流程
目录一、初始化 Maven 项目二、配置 pom.xml(Maven 核心文件)三、项目结构调整与编码
yumgpkpm
15 天前
大数据
·
hive
·
hadoop
·
python
·
elasticsearch
·
spark
·
cloudera
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64(ARM)信创环境中的性能测试过程及命令
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64信创环境中的性能测试过程及命令
yumgpkpm
15 天前
hive
·
hadoop
·
elasticsearch
·
zookeeper
·
big data
大数据综合管理平台(CMP)(类Cloudera CDP7.3)有哪些核心功能?
大数据综合管理平台(CMP)(类Cloudera CDP7.3)有哪些核心功能?大数据综合管理平台(CMP)Aarch64国内信创版的核心功能可以归纳为以下几个关键方面: