存储

天翼云开发者社区1 天前
存储
安装minio集群本文分享自天翼云开发者社区《安装minio集群》,作者:2****m
poemyang1 天前
存储·pagecache·lsm tree·顺序i/o·局部性原理
Facebook内部都在用的存储引擎,LSM凭什么能硬扛亿级写入流量?RocksDB LSM树 RocksDB是Meta (Facebook) 开源的高性能持久化键值存储库,源于Google的LevelDB,并针对SSD和服务器工作负载进行了深度优化。它广泛应用于需要处理海量数据(亿级甚至更高)并要求高写入吞吐的场景。 RocksDB 以 kv 对集合的形式存储数据, key 和 value 是任意长度的字节数组(byte array)。RocksDB 提供了几个用于操作 kv 集合的函数底层接口:
poemyang8 天前
存储·pagecache·计算机原理·i/o 模式·顺序i/o·局部性原理
硬盘性能提升100倍的秘密:看懂顺序I/O的魔力I/O缓存局部性原理 局部性原理(Principle of Locality)指在程序执行过程中,倾向于访问某些局部特定的数据或指令,而不是随机地访问整个内存空间。这是缓存技术得以有效的根本原因。 1)时间局部性(Temporal Locality):如果一个数据项被访问,那么在不久的将来它很可能被再次访问(如循环中的变量、常用函数)。 2)空间局部性(Spatial Locality):如果一个数据项被访问,那么物理地址邻近它的数据项也很可能在不久的将来被访问(如顺序执行的指令、数组元素的遍历)。 局部
杰克逊的日记24 天前
云原生·容器·kubernetes·存储·gpfs
k8s的csi对接GPFS集成意义:通过 CSI 将 GPFS 接入 k8s,可让 Pod 直接使用 GPFS 的共享存储,满足高并发、大容量的存储需求,同时利用 k8s 的编排能力实现存储的动态管理
虚伪的空想家2 个月前
ceph·云原生·k8s·存储·rook
rook-ceph配置dashboard代理无法访问在ceph-tools的pod中看看dashboard是否开启 kubectl -n rook-ceph exec -it rook-ceph-tools-7b75b967db-jn68d – bash
小猴崽2 个月前
存储·云存储·cbs
腾讯云CBS:企业级云存储的性能与可靠性重构摘要 根据Forrester 2025年网络分析与可见性(NAV)报告,东西向流量安全与加密威胁检测成为企业核心痛点(误报率降低需求↑40%)。腾讯云CBS作为底层存储支柱,通过三副本跨可用区冗余架构与毫秒级故障切换能力,支撑NAV解决方案实现99.9999999%数据可靠性,同时降低存储延迟至0.3ms(行业平均1.2ms)。
搬砖魁首2 个月前
存储·filecoin·ipld·cid
Filecoin系列 - IPLD 技术分析为了成功地将数据加到 Filecoin 网络, 需要成功完成以下步骤:要存储的文件 -> IPLD DAG -> 序列化为CAR文件(它的Payload就是IPLD DAG) -> 生成Piece(包含PayloadCID, Payload和Zero-Padding) -> 派生PieceCID(也叫CommP,是Payload+Zero-Padding的Merkle 根哈希) -> 若干个Piece 组成UnsealedSector -> CommD(Pieces的 Merkle 根) -> Seale
Lz__Heng2 个月前
运维·存储
记一次使用HPE SSMC管理停用HPE 3par存储报连接出错
大千AI助手2 个月前
人工智能·存储·数据·高可用·永久保存
如何数据的永久保存?将信息以加密电磁波形式发射至太空实现永久保存的可行性说明摘要: 本文探讨了将人类信息(如文化、科学知识)加密后通过电磁波定向或广播发射至太空,意图实现近乎永久保存的可行性。分析表明,该方案在物理传播层面具备基础可能性(电磁波在真空中可无限传播),但面临信号衰减、接收识别、超长期加密有效性、目标定位、伦理风险及高昂成本等根本性挑战。其作为“宇宙时间胶囊”的“永久性”概念在严格意义上无法实现,仅能在有限时间尺度内(数千至数万年)提供一种脆弱且低概率的保存途径。
OceanBase数据库官方博客2 个月前
oceanbase·分布式数据库·存储
OceanBase v4.3.5 特性解读:通过OSS WORM特性进行备份归档OceanBase 最新发布的V4.3.5 中,备份归档服务已适配阿里云OSS的 WORM特性,支持将配置了合规保留策略的OSS Bucket作为备份存储的目的端,有效满足用户数据安全存储与合规性的需求。
smart19983 个月前
ai·制造·存储
制造企业搭建AI智能生产线怎么部署?制造商需要精准协调生产和发货,确保订单及时交付。MES、ERP、CRM 系统与生产线集成,对生产管理流程、物料跟踪、品控、确定货期至关重要。如果某个系统发生延迟或者效率低下,会在造成整个生产环节停滞,影响最终交付,导致客户不满。面对这一难题,推荐KS 5016U + GS SAS HDD统一存储共同搭建智能生产线平台,智能分析生产线数据,对发货进行提前预测,及时发现交货延迟风险。
半岛铁盒BKB3 个月前
linux·存储·3par
3par persona设置错误,linux I/O持续报错OS:Redhat7.8存储:3par8440报错间隔不定。信息如下四个磁盘符如下:sdesdaesdar
wniuniu_3 个月前
存储
socc 19 echash论文部分解读前言:论文还是得吃透才行,不然很多细节有问题根据论文,一个 data chunk 通常比一个 object 大,因为它是由多个 object 组合而成的 。 论文中提到,cross-coding 会将多个 object 组合成固定大小的 data chunk 。例如,默认的 data chunk 大小被设置为 4 KiB 。而 KV 存储系统中的 object 大小各异,很多情况下 object 都很小
天翼云开发者社区3 个月前
存储·天翼云hblock
0.4元/TB/月!天翼云HBlock打响软件定义存储价格战当企业数据量以平均每年增加50%的速度狂飙,存储成本已成重负:传统方案动辄数百万的成本投入、动辄数周的部署周期、动辄30%的闲置资源浪费……
10000hours3 个月前
linux·数据结构·网络协议·list·存储·sgl
【SGL】Scatter-Gather List内存传输技术sgl(Scatter-Gather List)内存传输技术,是一种高效管理非连续内存数据传输的方法。 核心思想:通过一个链表或数组描述多个分散的内存块,使得硬件可以一次性完成对这些非连续内存区域的读写操作,无需CPU介入数据拷贝。
code_shenbing4 个月前
开发语言·c#·存储
C# 实现列式存储数据列式存储(Columnar Storage)是一种数据存储方式,它将数据按列而非行组织。与传统的行式存储相比,列式存储在以下场景具有优势:
天翼云开发者社区4 个月前
存储
教育考试院存储系统焕新:轻量升级,无缝切换!数字时代,数据已成为各单位的核心资产,教育领域也不例外。某教育考试院承载着数据归集、监控视频存储和实时监控管理的重要任务。随着数据量增长,该教育考试院原多台单点部署的存储服务器已无法满足业务需求,多个痛点显现:若任意服务器发生故障,业务会面临中断风险;新增服务器反而会放大单点故障风险;数据读写量持续增长导致性能瓶颈日益突出。
Hehuyi_In4 个月前
clickhouse·oss·存储·归档·冷热分层
阿里云Clickhouse 冷热数据分层存储 实战记录某业务Clickhouse库月数据增长超过2.5T,云上Clickhouse容量并不是无限的,单节点有32T上限,而业务已使用一半以上,依此速度,半年内就将达到上限。
唐宋元明清21885 个月前
存储
网络虚拟存储 Iscsi实现方案网络虚拟存储,通过Iscsi协议可以实现本地挂载磁盘,扩展本机设备存储。Iscsi有以下实现方案,简单介绍下:
HaoHao_0106 个月前
阿里云·云计算·oss·存储
阿里云 对象存储服务阿里云 对象存储服务(OSS,Object Storage Service) 是一种高度可扩展、低成本、安全可靠的云存储服务,主要用于存储和管理海量的非结构化数据。它可以帮助用户实现数据的安全存储、快速访问和高效管理。OSS 广泛应用于图片、音频、视频、备份、日志、网站静态资源等各类数据存储场景。