hadoop

Francek Chen4 小时前
大数据·数据仓库·hive·hadoop·分布式
【大数据处理与分析】数据仓库Hive:04 数据仓库Hive概述【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
Gl�ria6 小时前
大数据·hadoop·分布式
Hadoop/YARN 集群缩容:下线DN节点核心原理:HDFS 支持优雅退役 (decommission) 下线 DN,不是直接关机。执行退役后,NameNode 会把该 DN 上所有数据块,复制迁移到其他存活 DataNode,数据多副本保证不丢失。
计算机源码社7 小时前
大数据·hadoop·python·数据分析·spark·毕业设计·数据可视化
基于大数据技术的台北市住宅价格影响因素挖掘与可视化分析-基于Python与Hadoop的台北市住宅价格数据仓库构建与可视化💕💕作者:计算机源码社 💕💕个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Spark、hadoop、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流! 💕💕学习资料、程序开发、技术解答、文档报告 💕💕如需要源码,可以扫取文章下方二维码联系咨询
计算机源码社7 小时前
大数据·hadoop·python·数据分析·spark·毕业设计·数据可视化
基于Hadoop+Spark的乳腺癌病理数据可视化分析系统 基于K-Means聚类与PCA降维的乳腺癌形态特征分析系统💕💕作者:计算机源码社 💕💕个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Spark、hadoop、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流! 💕💕学习资料、程序开发、技术解答、文档报告 💕💕如需要源码,可以扫取文章下方二维码联系咨询
卷毛迷你猪1 天前
大数据·hadoop
快速实验篇(A9-2)Python vs MapReduce:小批量任务的工具选择本文是"农业气象干旱分析"项目的第九阶段之二(A9-2)。在 A9-1 完成降水—气象因子相关性分析之后,我们用 5000 和 10000 站两个规模,分别用 Python 单机与 Hadoop MapReduce 实现了同样的相关系数计算任务,实测对比两者的耗时、内存和代码复杂度。
Ahtacca3 天前
hadoop
hadoop部署前置准备基于linux系统运行 此文档开始前 请先准备好linux系统 (虚拟机,服务器配置均可)以三台为例此文档基于linux三台虚拟机完成 使用finallshell ssh隧道连接
计算机源码社3 天前
大数据·hadoop·python·数据挖掘·数据分析·spark·毕业设计
基于K-Means聚类的新生儿败血症临床分型与可视化分析系统 基于数据挖掘的新生儿败血症生命体征时序走势与关联性可视化研究💕💕作者:计算机源码社 💕💕个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Spark、hadoop、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流! 💕💕学习资料、程序开发、技术解答、文档报告 💕💕如需要源码,可以扫取文章下方二维码联系咨询
计算机源码社3 天前
大数据·hadoop·python·数据挖掘·数据分析·spark·毕业设计
基于大数据的全球温室气体排放燃料结构与碳强度评估研究-基于Spark的全球温室气体排放多维度检测与评估分析💕💕作者:计算机源码社 💕💕个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Spark、hadoop、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流! 💕💕学习资料、程序开发、技术解答、文档报告 💕💕如需要源码,可以扫取文章下方二维码联系咨询
Q26433650234 天前
大数据·hadoop·机器学习·数据挖掘·数据分析·spark·数据可视化
【有i源码】基于大数据的城市交通流量与出行特征可视化分析平台-基于Hadoop的城市交通拥堵关联规则与异常检测研究本项目面向智慧城市交通治理与出行服务场景,基于大数据技术构建了一套覆盖数据上传、预处理、分布式分析与结果输出的交通流量与出行数据分析系统。系统利用 Hadoop 分布式文件系统完成交通出行数据的存储与管理,借助 Spark 对大规模数据进行多维度计算,围绕片区车流、道路类型、时段趋势、高峰拥堵、天气影响、事故施工、停车占用、排放强度、公交占比、信号配时、空气质量、路段画像、拥堵关联规则和异常拥堵识别等方向展开分析,并将结果统一导出,为交通态势可视化展示、拥堵成因挖掘和智慧交通决策提供数据支撑。
kaoa0004 天前
linux·hadoop·mapreduce
Linux入门攻坚——90、Hadoop-2-MapReduce计算框架及Hadoop生态系统概览MapReduce计算框架:MapReduce是一个批处理分布式计算框架,其分为两个过程,map和reduce
Gl�ria4 天前
hadoop
Hadoop 集群高可用节点分布HDFS HA(2 个 NN + JN 集群 + ZKFC) + YARN HA(2 个 RM) + DataNode + NodeManager + ZooKeeper(下表额外添加hbase的服务)
计算机源码社4 天前
大数据·hadoop·python·数据挖掘·spark·毕业设计·数据可视化
基于Hadoop+Spark的商家优惠券营销效果数据分析与可视化-基于Python的商家优惠券营销效果检测与评估分析系统💕💕作者:计算机源码社 💕💕个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Spark、hadoop、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流! 💕💕学习资料、程序开发、技术解答、文档报告 💕💕如需要源码,可以扫取文章下方二维码联系咨询
IT毕设梦工厂5 天前
大数据·hadoop·python·数据挖掘·数据分析·课程设计·大数据毕设项目
计算机毕业设计选题推荐:基于大数据的草鱼价格分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目✨作者主页:IT毕设梦工厂✨ 个人简介:曾从事计算机专业培训教学,擅长Java、Python、PHP、.NET、Node.js、GO、微信小程序、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Python项目 安卓项目 微信小程序项目
Gl�ria5 天前
hive·hadoop·sql
Hive SQL 执行卡住完整排查 & 处理现象:Hive 提交 SQL 之后,任务长时间不动,Map 或者 Reduce 停在某个百分比不动,不报错、不失败,就是卡住。
Q26433650236 天前
大数据·hadoop·机器学习·数据挖掘·spark·毕业设计·课程设计
【有源码】基于文本挖掘的消费者金融投诉主题发现与风险预警研究,基于Python的CFPB消费者投诉数据可视化分析系统本平台面向消费者金融投诉领域,基于公开投诉数据构建从数据上传、清洗预处理到多维统计分析与可视化展示的一体化大数据应用。系统围绕产品分布、问题热点、州域分布、企业应答、渠道时效、时序演变和风险洞察等核心主题,完成投诉态势的全面感知与深度挖掘,并通过结构化结果表对接可视化大屏,为监管监测、企业服务和风险预警提供直观、可读、可扩展的数据支撑。
Q26433650236 天前
大数据·hadoop·机器学习·数据挖掘·数据分析·spark·毕业设计
【有源码】基于机器学习的商场商铺运营分群与可视化分析研究 基于Spark的商场商铺经营效率分析与可视化注意:该项目只展示部分功能,如需了解,文末咨询即可。本项目是一个基于大数据技术的商场商铺运营数据分析与可视化系统,围绕商场商铺的多维经营数据,完成从数据上传、清洗预处理、分布式统计、智能挖掘到结果输出的全流程处理;分析覆盖城市、商圈、楼层、品牌、业态、商场等级、租金、客流、销售、面积、员工、运营年限等核心维度,并进一步计算单位面积销售、人均销售、单位客流销售等效率指标,结合聚类画像、关联规则、综合排名和异常检测,帮助运营者洞察商铺经营状况、优化业态布局、辅助招商与运营决策,并可通过图表和大屏进行可视化展示
Gl�ria6 天前
运维·hadoop·数据倾斜
Hadoop MapReduce / Hive 场景:ReduceTask 热点 Key 排查背景:MapReduce Reduce 任务,某个 key 的记录量爆炸,单个 Reducer 扛大量数据,出现数据倾斜,就是热点 Key。
Q26433650237 天前
大数据·hadoop·算法·机器学习·spark·毕业设计·课程设计
【有源码】基于机器学习的电信网络诈骗话术语义识别与可视化分析系统 XGBoost算法+Hadoop+Spark注意:该项目只展示部分功能,如需了解,文末咨询即可。发语言:python 采用技术:Spark、Hadoop、Django、Vue、Echarts等技术框架 数据库:MySQL 开发环境:PyCharm
Q26433650237 天前
大数据·hadoop·机器学习·数据挖掘·spark·课程设计·数据可视化
【有源码】基于 Hadoop 的强化学习智能体轨迹数据挖掘与可视化分析系统大数据毕设项目本系统是一个基于 Spark 大数据平台的强化学习智能体轨迹数据挖掘与可视化分析系统,面向 Gridworld 环境中 Q 学习、深度 Q 网络、近端策略优化、随机游走四类智能体产生的海量轨迹数据,构建了从 HDFS 分布式存储、数据清洗预处理、多维统计分析、机器学习深度挖掘到可视化展示的全链路解决方案。系统基于 PySpark 实现了 16 项覆盖基础统计、行为画像、序列模式与异常检测的多维分析,所有结果均以独立 CSV 文件输出,为智能体性能评估与策略优化提供坚实的数据支撑。
Q26433650237 天前
hadoop·机器学习·数据挖掘·spark·毕业设计·课程设计·大数据项目
【有源码】基于大数据的药品多维度属性分析可视化系统 基于Spark的药品属性聚类与关联规则可视化分析系统注意:该项目只展示部分功能,如需了解,文末咨询即可。发语言:python 采用技术:Spark、Hadoop、Django、Vue、Echarts等技术框架 数据库:MySQL 开发环境:PyCharm