hive

佐伊232 天前
hive·sql优化·maxcompute·数据倾斜
SQL优化剧场:当Hive/MaxCompute遇上数据倾斜的十二种剧情数据倾斜就像一场精心编排的戏剧,每个角色都有其独特的破坏方式。在Hive和MaxCompute的世界里,这些"反派角色"常常让我们的SQL查询陷入泥潭。让我们先认识一下这些"重量级演员":
Amber勇闯数分2 天前
大数据·数据仓库·hive·hadoop·矩阵
【Hive】基于物品协同过滤 [ ItemCF ] 推荐课程-余弦相似度计算随着线上教育平台的发展,如何为每位用户智能推荐感兴趣的课程,成为平台提升用户活跃度和学习转化率的关键手段。本文使用某教育平台用户行为数据,基于协同过滤算法构建推荐系统,结合 Hive 思想分层处理数据,最终输出推荐结果。
努力有什么不好2 天前
数据仓库·hive·hadoop
SparkSQL如何查询外部hive数据SparkSQL的运行环境是在社区版idea中,spark版本是3.0.0,需要有一个外部的hive,开启metastore服务,博主的hive版本是3.1.2,并且使用MySQL存储元数据。
yumgpkpm2 天前
hive·hadoop·华为·flink·spark·kafka·hbase
华为昇腾300T A2训练、微调Qwen过程,带保姆式命令,麒麟操作系统+鲲鹏CPU华为昇腾300T A2训练、微调Qwen过程,带保姆式命令,麒麟操作系统+鲲鹏CPU在 华为昇腾 Atlas 300T A2 训练卡 + 鲲鹏 CPU + 麒麟 V10 SP1 操作系统 环境下,从零开始训练/微调 Qwen-1.8B 小模型 的完整保姆级操作指南。所有命令均基于官方 CANN 8.0+ 和 PyTorch Ascend 生态,适配国产信创栈。
無森~2 天前
hive·hbase·mr
HBase与MR、Hive整合三种情况:从HDFS读取数据, MR计算,结果存储于hbas需求:从HDFS读取/user/local/hello.txt, MR计算之后,将结果写到hbase的wordcount表中。
Gain_chance4 天前
大数据·数据仓库·hive·笔记·学习
32-学习笔记尚硅谷数仓搭建-DWD层首日数据装载脚本及每日数据装载脚本目录一、首日数据装载脚本二、每日数据装载脚本添加下面的内容:保存后添加权限执行脚本的命令添加下面脚本内容
Gain_chance4 天前
数据仓库·hive·笔记·学习·datagrip
29-学习笔记尚硅谷数仓搭建-DWD层交易域下单事务事实表和交易域支付成功事务事实表目录一、交易域下单事务事实表 (dwd_trade_order_detail_inc)业务理解:代码关键点:
TTBIGDATA4 天前
大数据·数据仓库·hive·hadoop·ambari·hdp·ranger
【Ranger】Ambari开启Kerberos 后 ,Ranger 中 Hive 策略里,Resource lookup fail 线程池超时优化在 Ranger 中配置 Resource(例如 Hive 的 database/table)时,如果输入节奏较快,页面会弹出类似提示:
B站计算机毕业设计超人6 天前
大数据·人工智能·hive·hadoop·scrapy·spark·课程设计
计算机毕业设计hadoop+spark+hive在线教育可视化 课程推荐系统 大数据毕业设计(源码+LW文档+PPT+讲解)温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
B站计算机毕业设计超人6 天前
大数据·人工智能·hive·爬虫·python·spark·课程设计
计算机毕业设计PySpark+Hive+Django小红书评论情感分析 小红书笔记可视化 小红书舆情分析预测系统 大数据毕业设计(源码+LW+PPT+讲解)温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
普通网友6 天前
数据仓库·hive·hadoop
Hive ACID 事务表实战:插入 / 更新 / 删除操作的配置与使用限制Hive ACID(原子性、一致性、隔离性、持久性)事务表是 Hive 提供的高级特性,支持在数据仓库环境中执行事务性操作(如插入、更新和删除),确保数据完整性和一致性。本指南将逐步解释配置方法、操作步骤及使用限制,帮助您高效使用。以下内容基于 Hive 3.x 版本(推荐使用 Hive 3.1.0 或更高),确保真实可靠。
独自归家的兔6 天前
数据仓库·hive·hadoop
windows Hive使用全攻略:从入门到实战,轻松搞定大数据处理 - Hadoop windows安装在大数据时代,面对海量的数据,如何高效地进行存储、查询和分析,成为了许多开发者和企业的核心需求。Hive作为大数据生态中不可或缺的工具,凭借其类SQL的查询语言和易上手的特性,成为了处理结构化数据的首选利器。本文将从Hive的核心作用、典型使用场景、详细使用教程三个维度展开,结合实际案例进行讲解,让即使是大数据新手也能轻松理解并上手使用Hive。
走过冬季6 天前
数据仓库·hive·hadoop
02 | Hive SMB Join 原理Hive 的 SMB Join(Sort-Merge-Bucket Join) 是一种高性能的 Map-side Join 优化策略,适用于两个大表关联且满足特定存储条件的场景。它通过预排序 + 分桶 + 合并的方式,在 Map 阶段完成 Join,避免了昂贵的 Reduce Shuffle,显著提升性能。
QQ17958063966 天前
vue.js·hive·spring boot
基于springboot+vue的hive的歌曲音乐筛选推荐系统网站(源码+lw+部署文档+讲解等)目的 数据采集与整合: 多源数据收集:基于 springboot + vue 的 hive 的歌曲音乐筛选推荐系统网站要从多个来源采集音乐相关数据。从音乐播放平台获取歌曲的基本信息(歌名、歌手、专辑、发行时间等)、播放量、收藏量、评论数据;从音乐制作公司获取歌曲的风格类型(如流行、摇滚、古典、爵士等)、创作背景;从社交媒体平台收集用户对歌曲的讨论热度、分享情况等。 数据清洗与存储:对收集到的大量数据进行清洗,去除重复、错误、不完整的数据。然后将处理后的干净数据存储在 hive 数据仓库中,构建全面且规范的
大鳥6 天前
大数据·数据库·hive
第一章 - 数据仓库是什么背景: 某中型零售公司"优品生活",拥有线上商城、线下门店、微信小程序三个销售渠道,使用不同的业务系统。
大鳥6 天前
hive·hadoop
数据仓库知识体系### 第一章:数据仓库是什么
talle20217 天前
数据仓库·hive·hadoop
Hive | 行列转换concat函数用于实现字符串拼接,不可指定分隔符。如果任意一个元素为null,结果就为null。concat_ws函数用于实现字符串拼接,可以指定分隔符。任意一个元素不为null,结果就不为null。
talle20217 天前
hive·hadoop·json
Hive | json数据处理JSON格式的数据如下,JSON格式对引号要求比较高,如果key或者value是字符串类型的,只能使用双引号引起来。
CTO Plus技术服务中7 天前
数据仓库·hive·hadoop
Hive开发与运维教程这部分的内容我们已经全部开放到了平台上,后面随着情况还会持续更新和调整新的内容,再继续持续完善,有问题欢迎后台留言咨询。
Gain_chance7 天前
数据仓库·hive·笔记·学习·datagrip
28-学习笔记尚硅谷数仓搭建-DWD层交易域加购事务事实表建表语句及详细分析目录一、理解业务二、完整的建表语句及数据装载三、建表语句分析四、首日数据装载分析1.date_format函数: