技术栈
hbase
isfox
3 天前
hbase
Google Bigtable深度解析:分布式存储的设计典范
Google Bigtable 作为分布式结构化数据存储的里程碑技术,其设计理念深刻影响了 HBase、Cassandra 等开源分布式数据库。Bigtable 以高扩展性、高可用性和灵活的数据模型为核心,通过双层架构(GFS 持久化 + 分布式索引)支撑 PB 级数据存储与高效访问。本文将从数据模型、系统架构、核心组件及技术特点等方面全面解析 Bigtable,揭示其成为分布式存储标杆的底层逻辑。
青云交
4 天前
java
·
hdfs
·
flink
·
智慧城市
·
hbase
·
java 分布式存储
·
时空大数据
Java 大视界 -- 基于 Java 的大数据分布式存储在智慧城市时空大数据管理与应用中的创新实践(408)
亲爱的 Java 和 大数据爱好者们,大家好!我是CSDN(全区域)四榜榜首青云交!去年深秋在某新一线城市(2023 年 GDP 1.2 万亿)的智慧交通指挥中心,运维组长老李攥着鼠标垫跟我急得直跺脚:“早高峰 7 点到 9 点,2000 个路口的摄像头每秒钟往服务器灌 300MB 轨迹数据,单机存储撑了 3 天就报‘磁盘满’!更要命的是,交警查昨天早高峰的拥堵溯源,查 1 条浙 A 车牌的轨迹要等 5 秒,指挥中心的电话都被打爆了!”
小白不想白a
15 天前
hadoop
·
分布式
·
zookeeper
·
hbase
·
sqoop
【Hadoop】Zookeeper、HBase、Sqoop
Zookeeper可以监视HDFS系统的name node和data node,HBase也极度依赖zookeeper,因为zookeeper维护了HBase的源数据以及监控所有region server的健康状态,如果region server宕机会通知master 。它也可以避免脑裂(只有一个master大脑)。啊不免,通过分布式锁实现数据的一致性,YARN资源管理也依赖zookeeper,它为YARNresource manager提供节点选举服务。他还管理进入的消息队列。
蝎子莱莱爱打怪
21 天前
大数据
·
后端
·
hbase
Hadoop3.3.5、Hbase2.6.1 集群搭建&Phoenix使用记录
当前我的im聊天系统的消息是存到mysql里的,虽然我做了分库分表: 但是本质上这么做是很low的,也并不能满足百万并发的设计目标。so 、调研了半天,我准备使用hbase 做消息存储,本文不介绍hbase是啥,只是单纯记录hadoop、hbase的安装过程。以作备忘。
君不见,青丝成雪
23 天前
大数据
·
hadoop
·
hbase
hadoop技术栈(九)Hbase替代方案
云原生托管NoSQL服务:开源NewSQL/分布式SQL数据库:高性能时序数据库:其他宽列存储数据库:
lifallen
1 个月前
大数据
·
数据库
·
分布式
·
算法
·
性能优化
·
apache
·
hbase
HBase的异步WAL性能优化:RingBuffer的奥秘
在 HBase 中,预写日志(Write-Ahead Log, WAL)是保证数据持久性和一致性的核心组件。每一次数据写入(Put/Delete)都必须先成功写入 WAL,然后才能更新内存中的 MemStore。这个特性决定了 WAL 的写入性能直接关系到整个 HBase 集群的写入吞吐量和延迟,因此对其性能优化至关重要。
小戈爱学习
1 个月前
hive
·
hadoop
·
hbase
CDP集群中通过Hive外部表迁移HBase数据的操作记录
在CDP(Cloudera Data Platform)集群中,通过创建Hive外部表映射HBase表,实现HBase表数据的查询与迁移,验证该方式的可行性与数据一致性。
大数据狂人
1 个月前
hive
·
mysql
·
hbase
从 Hive 数仓出发,全面剖析 StarRocks、MySQL、HBase 的使用场景与区别
在现代大数据架构中,Hive 通常作为离线数仓的核心底座,负责批量数据的接入、清洗、计算与存储。然而,为了满足 实时计算、低延迟查询、业务交互型操作和高并发存储 等不同需求,我们往往需要结合使用 StarRocks、MySQL 和 HBase 等组件。
让头发掉下来
1 个月前
大数据
·
hive
·
hadoop
·
hbase
·
sqoop
Sqoop详细学习文档
Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
Fireworkitte
1 个月前
redis
·
mongodb
·
hbase
HBase、MongoDB 和 Redis 的区别详解
这三者都是流行的 NoSQL 数据库,但设计目标、数据模型和适用场景有显著差异。以下是它们的核心对比:
码字的字节
2 个月前
hadoop
·
hbase
·
wal
·
mvcc
深入解析HBase如何保证强一致性:WAL日志与MVCC机制
在分布式数据库系统中,强一致性是确保数据可靠性和系统可信度的核心支柱。作为Hadoop生态系统中关键的列式存储数据库,HBase需要处理金融交易、实时风控等高敏感场景下的海量数据操作,这使得强一致性成为其设计架构中不可妥协的基础特性。
wanglingli95
2 个月前
大数据
·
数据库
·
hbase
HBase2.5.4单机模式与伪分布式的安装与配置(Ubuntu系统)
HBase的安装也分为三种,单机模式、伪分布式模式、完全分布式模式;我们先来安装单机版。Ubuntu 20.04/22.04 LTS
万能小锦鲤
2 个月前
java
·
hadoop
·
eclipse
·
hbase
·
shell
·
vmware
·
实验报告
《大数据技术原理与应用》实验报告三 熟悉HBase常用操作
目 录一、实验目的二、实验环境三、实验内容与完成情况3.1 用Hadoop提供的HBase Shell命令完成以下任务
武子康
2 个月前
大数据
·
后端
·
hbase
大数据-36 HBase 增删改查 列族详解 实测
AI炼丹日志-29 - 字节跳动 DeerFlow 深度研究框斜体样式架 私有部署 测试上手 架构研究,持续打造实用AI工具指南!📐🤖
武子康
2 个月前
大数据
·
后端
·
hbase
大数据-34 HBase 单节点配置 hbase-env hbase-site xml
AI炼丹日志-29 - 字节跳动 DeerFlow 深度研究框斜体样式架 私有部署 测试上手 架构研究,持续打造实用AI工具指南!📐🤖
武子康
2 个月前
大数据
·
后端
·
hbase
大数据-33 HBase 整体架构 HMaster HRegion
AI炼丹日志-29 - 字节跳动 DeerFlow 深度研究框斜体样式架 私有部署 测试上手 架构研究,持续打造实用AI工具指南!📐🤖
Java烘焙师
2 个月前
mysql
·
elasticsearch
·
架构
·
hbase
·
多维度查询
架构师必备:业务扩展模式选型
业务发展过程中,增加字段是很常见、频繁的,因此怎么存储新增的字段是要重点考虑的因素。下面结合笔者的经验,总结一下各种业务扩展模式选型的优缺点、适用场景,如何让系统保持良好的业务扩展性。
lifallen
2 个月前
java
·
大数据
·
数据结构
·
数据库
·
算法
·
flink
·
hbase
Paimon vs. HBase:全链路开销对比
Paimon 在特定场景(如流式 Lookup Join)下,会为了极致的查询性能而引入额外的存储(本地磁盘 LookupFile)和计算(构建 LookupFile)开销。但这是一种用一次性的、可控的开销,换取后续持续、高吞吐、低延迟查询的典型权衡。
爱吃面的猫
2 个月前
大数据
·
hadoop
·
hbase
大数据Hadoop之——Hbase下载安装部署
传送门传送门1.1. 下载https://archive.apache.org/dist/hbase/2.4.11/
viperrrrrrrrrr7
2 个月前
大数据
·
hdfs
·
hbase
大数据(1)-hdfs&hbase
HDFS是一个标准的主从(Master/Slave)体系结构的分布式系统;HDFS集群包含一个或多个NameNode(NameNode HA会有多个NameNode) 和 多个DataNode(根据节点情况规划),用户可以通过HDFS客户端同NameNode 和 DataNode进行交互以访问文件系统。 HDFS公开文件系统名称空间,并允许将用户数据存储在文件中。在内部,一个文件被分成一个或多个块,这些块存储在一组datanode中。NameNode执行文件系统名称空间操作,如打开、关闭和重命名文件和目录