hadoop

十月南城1 小时前
数据仓库·hive·hadoop
Hive与离线数仓方法论——分层建模、分区与桶的取舍与查询代价写在前面,本人目前处于求职中,如有合适内推岗位,请加:lpshiyue 感谢。优秀的离线数据仓库不是数据的简单堆积,而是分层架构、分区策略与分桶技术精密平衡的艺术品
B站计算机毕业设计超人3 小时前
大数据·hive·hadoop·python·spark·毕业设计·课程设计
计算机毕业设计Hadoop+Spark+Hive招聘推荐系统 招聘大数据分析 大数据毕业设计(源码+文档+PPT+ 讲解)温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
B站计算机毕业设计超人3 小时前
大数据·hive·hadoop·python·spark·毕业设计·课程设计
计算机毕业设计hadoop+spark+hive交通拥堵预测 交通流量预测 智慧城市交通大数据 交通客流量分析(源码+LW文档+PPT+讲解视频)温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
AI架构师小马3 小时前
数据仓库·hive·hadoop·ai
Hive调优手册:从入门到精通的完整指南关键词:Hive调优、性能优化、Hadoop、数据仓库、MapReduce、SQL优化摘要:本文旨在为读者提供一份全面且深入的Hive调优指南,从基础概念到高级优化技巧,涵盖了Hive调优的各个方面。通过详细介绍核心概念、算法原理、数学模型以及丰富的实战案例,帮助读者理解Hive调优的本质和方法。同时,文章还推荐了相关的学习资源、开发工具和论文著作,为读者进一步深入学习和实践提供了方向。最后,对Hive调优的未来发展趋势和挑战进行了总结和展望。
数据架构师的AI之路3 小时前
大数据·hive·hadoop·ai
深入了解大数据领域Hive的HQL语言特性关键词:Hive、HQL、大数据查询、分区表、元数据、MapReduce、UDF摘要:本文将带你像拆积木一样拆解大数据领域的“查询利器”HiveQL(简称HQL)。我们会从HQL的诞生背景讲起,用“图书馆借书”“超市货架”等生活化案例解释核心概念,对比传统SQL揭示HQL的独特设计,通过代码实战演示如何用HQL分析亿级用户行为数据,并探讨HQL在实时化、云原生等方向的未来趋势。无论你是大数据新手还是想深入理解HQL底层逻辑的开发者,读完本文都能对HQL的“能与不能”有清晰认知。
十月南城6 小时前
hadoop·hdfs·mapreduce
Hadoop基础认知——HDFS、YARN、MapReduce在现代体系中的位置与价值写在前面,本人目前处于求职中,如有合适内推岗位,请加:lpshiyue 感谢。HDFS 是海量数据的基座,MapReduce 是批量计算的引擎,而 YARN 是集群资源的调度者——它们共同构成了大数据处理的“古典三位一体”。
蓝眸少年CY7 小时前
大数据·hadoop·hdfs
Hadoop2-HDFS文件系统目录一、概述1、定义2、特点3、核心架构(主从架构)4、特性5、优缺点6、架构7、文件快大小二、shell操作
WHD3061 天前
hadoop·sql·sqlite·flume·memcached
苏州数据库(SQL Oracle)文件损坏修复9月30日晚上11点47分,华兴银行季末全行结算进入最后倒计时。核心会计系统的Oracle RAC集群正在处理最后一笔大额跨境交易时,监控中心警报炸响:
ClouderaHadoop1 天前
大数据·hadoop·cloudera·cdh
CDH集群机房搬迁方案CDH 集群机房搬迁这件事,本质上不是“搬服务器”,而是一次受控的数据中心级别的灾备切换 + 集群重建工程。 如果方案思路错了,结果往往是: • HDFS 数据拷贝耗时极长(几十 TB / 上百 TB) • NameNode 元数据损坏或版本不一致 • Yarn / Hive / HBase / Impala 全部异常 • 权限、Kerberos、Ranger、元数据库各种隐性坑 • 业务停摆远超预期
TTBIGDATA2 天前
hadoop·分布式·kafka·ambari·hdp·linq·ranger
【Atlas】Atlas Hook 消费 Kafka 报错:GroupAuthorizationExceptionAtlas 启动后,NotificationHookConsumer 线程持续报错,典型信息是:现象要点
零一科技2 天前
hadoop
centos7安装hadoop3(上)1、下载下载地址一:https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
Francek Chen2 天前
大数据·linux·hadoop·hdfs
【大数据基础】实验1:熟悉常用的Linux操作和Hadoop操作【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
零一科技2 天前
hadoop
centos7安装hadoop3(下)1、将虚拟机master关机2、克隆,选择完整克隆克隆2次,分别保存为slave1,slave21、修改slave1的ifcfg-ens33文件的IPADDR
B站计算机毕业设计超人2 天前
大数据·hadoop·python·深度学习·spark·毕业设计·课程设计
计算机毕业设计hadoop+spark+hive共享单车预测系统 共享单车数据可视化分析 大数据毕业设计(源码+LW文档+PPT+讲解)温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
B站计算机毕业设计超人2 天前
大数据·hadoop·爬虫·python·spark·cnn·课程设计
计算机毕业设计Python+Spark+Hadoop+Hive微博舆情分析 微博情感分析可视化 大数据毕业设计(源码+LW文档+PPT+讲解)温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
Amber勇闯数分2 天前
大数据·数据仓库·hive·hadoop·矩阵
【Hive】基于物品协同过滤 [ ItemCF ] 推荐课程-余弦相似度计算随着线上教育平台的发展,如何为每位用户智能推荐感兴趣的课程,成为平台提升用户活跃度和学习转化率的关键手段。本文使用某教育平台用户行为数据,基于协同过滤算法构建推荐系统,结合 Hive 思想分层处理数据,最终输出推荐结果。
努力有什么不好2 天前
数据仓库·hive·hadoop
SparkSQL如何查询外部hive数据SparkSQL的运行环境是在社区版idea中,spark版本是3.0.0,需要有一个外部的hive,开启metastore服务,博主的hive版本是3.1.2,并且使用MySQL存储元数据。
yumgpkpm2 天前
hive·hadoop·华为·flink·spark·kafka·hbase
华为昇腾300T A2训练、微调Qwen过程,带保姆式命令,麒麟操作系统+鲲鹏CPU华为昇腾300T A2训练、微调Qwen过程,带保姆式命令,麒麟操作系统+鲲鹏CPU在 华为昇腾 Atlas 300T A2 训练卡 + 鲲鹏 CPU + 麒麟 V10 SP1 操作系统 环境下,从零开始训练/微调 Qwen-1.8B 小模型 的完整保姆级操作指南。所有命令均基于官方 CANN 8.0+ 和 PyTorch Ascend 生态,适配国产信创栈。
努力有什么不好2 天前
大数据·hadoop·分布式
Hadoop3.2.2伪分布式搭建本次安装的操作系统是Kylin X86。下载安装包 从https://archive.apache.org/dist/hadoop/common/官网下载对应的版本