hbase

螺蛳粉 螺蛳粉6 天前
jvm·hadoop·hbase·异常处理·大数据运维·踩坑记录·事故复盘
大数据第四篇:事故复盘:移走 HBase 里 27 个 hadoop-2.10.2 jar 后,HMaster 半小时后“自杀“了【jar 事故复盘】一篇用完整报错证据链讲透的复盘:HBase(hadoop2 发行版)自带的 27 个 hadoop-2.10.2 jar 不是"污染",删掉后 MR 作业确实跑通了,但数小时后 HMaster 在 flush 时抛 NoSuchMethodError 集体自杀;本文给出日志取证方法、安全回滚步骤和 6 条新增运维坑。
zoyation7 天前
大数据·数据库·hbase
HBase 2.5.16 单机部署在业务系统中引入 HBase 之后,运维同学大概都遇到过这样几个场景:本地要跑一个验证环境、客户现场要演示一套系统、或者内网隔离环境需要离线装一套集群。这时候不装 Hadoop、不搭三节点,直接用**单机模式(Standalone)**把 HBase 跑起来,是最省事的选择。
yumgpkpm18 天前
大数据·hive·hadoop·postgresql·zookeeper·spark·hbase
CDP 7.3.1(Cloudera Runtime 7.3.1)VS Acceldata ODP 3.3.6.4 核心引擎详细版本对比CDP Private Cloud Base 7.3.1(Cloudera Runtime 7.3.1)VS Acceldata ODP 3.3.6.4 核心引擎详细版本对比
yumgpkpm18 天前
服务器·人工智能·hadoop·python·华为·zookeeper·hbase
(CDH 7)CDP Private Cloud Base 7.3.1 → Acceldata ODP 3.3.6.4 引擎迁移风险评估表风险等级:🔴高风险(需大量代码改造,业务逻辑可能出错);🟡中风险(少量改造,回归测试必做);🟢低风险(基本兼容,仅验证)
yumgpkpm18 天前
大数据·运维·服务器·hadoop·华为·zookeeper·hbase
Acceldata ODP 3.3.6.4 vs CDP Private Cloud Base 7.3.2 对比Acceldata ODP 3.3.6.4 vs CDP Private Cloud Base 7.3.2 对比表
yumgpkpm19 天前
大数据·人工智能·hive·hadoop·kafka·hbase·cloudera
Acceldata ODP(Open Data Platform)3.3.6.4(RHEL9)保姆级完整安装手册Acceldata ODP(Open Data Platform)3.3.6.4(RHEL9)保姆级完整安装手册
此时不提桶,更待何时1 个月前
数据库·面试·hbase
05-04-B-HBase与时序库面试与生产事故实战️ 关键词:HBase 面试题 · LSM-Tree · RowKey 设计 · 写热点 · Region · 时序库 · 降采样 · 监控存储
网络豆2 个月前
apache·hbase·harmonyos
Apache HBase 鸿蒙 PC 适配全记录:用 Qt 原生客户端打通 REST 管理与数据读写适配开源地址:https://atomgit.com/OpenHarmonyPCDeveloper/ohos_hbase
Highcharts.js2 个月前
数据库·信息可视化·hbase·highcharts·drilldown·js模块·下钻图表
Highcharts 下钻(Drilldown)柱状图 Demo功能:点击顶层柱状图,可以向下展开查看浏览器各版本细分市场份额,典型上钻‑下钻交互图表HTML预览代码
吴声子夜歌2 个月前
java·面试·hbase
Java面试——HBase原理及应用HBase是一个面向列式存储的分布式数据库。HBase的数据模型与BigTable十分相似。在HBase表中,一条数据拥有一个全局唯一的键(RowKey)和任意数量的列(Column),一列或多列组成一个列族(ColumnFamily),同一个列族中列的数据在物理上都存储在同一个HFile中,这样基于列存储的数据结构有利于数据缓存和查询。HBase中的表是疏松地存储的,因此用户可以动态地为数据定义各种不同的列。HBase中的数据按主键排序,同时,HBase会将表按主键划分为多个Region存储在不同Reg
Waay3 个月前
大数据·数据库·hive·hadoop·hdfs·hbase
什么是HBase?它和Hive有什么区别?Hive:离线大数据仓库,存日志、订单批量数据,只能做批量统计查询,不能实时根据某一条 ID 快速查数据;
hopsky3 个月前
大数据·数据库·hbase
《HBase 权威指南》 Lars George作者:Lars George,HBase 核心提交者、Cloudera EMEA 服务总监,HBase 社区早期推广者与技术文档专家,本书是 HBase 领域公认的权威官方级技术著作(56)。本书以 Google BigTable 理论模型为底层基础,结合 HBase 生产落地实践,从架构原理、数据模型到生态集成与调优运维,系统性覆盖了 HBase 全栈技术内容,是适配海量分布式结构化存储场景的实战级参考手册(11)。
神王宝宝 王者小学3 个月前
大数据·数据库·hbase
HBase: 看上去很美HBase,这个名字在分布式存储领域如雷贯耳。它常被描绘成“稀疏的、多维度、有序的Map”,拥有海量存储、高并发读写、水平扩展等光环。这些特性听起来确实很美,仿佛大数据存储的终极答案。然而,当我们从宣传手册走进真实的生产环境,会发现HBase的美丽背后,藏着无数需要工程师用血泪去填平的坑。本文将从实战出发,用代码和踩坑经验,揭开HBase“看上去很美”的面纱,探讨它真正的价值与狰狞之处。### 一、为什么说它“看上去很美”?先来欣赏一下它的美。HBase的模型确实优雅:一张表可以拥有上亿行、百万列,并且列
2601_960906723 个月前
kafka·hbase·flume·storm
地球或逃逸到相对安全的日心轨道北京时间8月5日14时35分,一枚在太空中漂泊了近19个月SpaceX猎鹰9号火箭第二级残骸,以每秒约2.4公里(约7倍音速)的速度撞击月球西侧的爱因斯坦陨石坑附近区域,完成了它最终的宿命。
2501_942389553 个月前
人工智能·oracle·hbase·database·storm
为支撑持续攀升的AI资本开支7月发布的最新调查报告,谷歌母公司Alphabet、微软、亚马逊、Meta与甲骨文五家科技巨头的隐性债务规模在四年间增长八倍,达到1.65万亿美元,远超其同期表内1.35万亿美元的正式负债总额。
2601_960906723 个月前
人工智能·json·hbase·flume·storm
网络防御等最先进AI模型领域7月17日消息,据日经新闻报道,日本国产AI平台企业联盟7月16日正式成立,软银、索尼集团、NEC、本田等44家企业参与,由新公司Noetra负责核心研发。
西木莉3 个月前
大数据·数据库·hbase
关于Hbase多版本存储的一个注意点HBase是一个多版本管理系统。0.96版本前,每列默认保留3个版本;之后默认为1个版本。版本通过插入时的时间戳区分,存储层按时间戳降序排列,因此默认查询始终返回最新数据,除非指定时间范围。 常用的Put和Delete API默认使用当前系统时间戳,也可以手动指定。但非必要不建议自定义时间戳,否则可能引发异常。 例如,若Put时设置时间戳为Long.MAX_VALUE,后续插入、更新或删除时未传入更大时间戳,由于版本数限制(如1个),HBase会认为新操作属于旧版本,无法覆盖已有数据,导致所有变更无效,甚
一招合理3 个月前
运维·数据库·hbase
HBase运维基础——元数据逆向修复原理本文面向HBase运维人员,从基础原理出发,重点讲解数据完整性及元数据逆向恢复机制,为后续系列文章奠定基础。
一招合理3 个月前
大数据·数据库·hbase
Accordion:一种HBase内存压缩算法HBase 2.0引入Accordion(手风琴)算法,旨在提升读写性能,接近内存速度同时保证持久存储。该算法基于LSM树,通过在内存中压缩数据,减少磁盘刷新频率,从而降低写入放大和I/O开销。
李昊哲小课3 个月前
大数据·hbase·phoenix
phoenix5.3.1整合hbase2.6.6完整注意:Phoenix 咱不支持 JDK25 故而降低 hbase配置JDK版本为17注意:会出现如下报错信息