分布式存储

RestCloud24 天前
数据库·oceanbase·etl·分布式存储·数据集成·数据传输
OceanBase数据库结合ETLCloud快速实现数据集成随着信息技术的迅猛发展和数据量的急剧增加,企业面临着前所未有的数据管理挑战。传统的数据库系统在处理大规模、多样化的数据时往往显得力不从心。因此,分布式数据库应运而生,以其优越的性能和扩展性逐渐成为新一代数据存储解决方案。在众多分布式数据库中,OceanBase凭借其高可用、易扩展的特点,正在受到越来越多企业的青睐。
栀夏6132 个月前
分布式存储
minio 快速入门+单机部署+集群目录原理概念名词解释Set /Drive 的关系MinIO部署单机单机单盘单机多盘集群多机单盘多机多盘
志凌海纳SmartX2 个月前
数据库·金融·架构·虚拟化·分布式存储·超融合·vmware替代
《SmartX ELF 虚拟化核心功能集》发布,详解 80+ 功能特性和 6 例金融实践《SmartX ELF 虚拟化核心功能集》电子书现已发布!本书详细介绍了 SmartX ELF 虚拟化及云平台核心功能,包含虚机服务、容器服务、网络服务、存储服务、运维管理、工具服务、数据保护等各个方面。
Nicolas8932 个月前
人脸识别·分布式存储·隐私计算·mpc·vgg16·多方安全计算·明密文混合
【隐私计算篇】利用多方安全计算MPC实现VGG16人脸识别隐私计算模型本文主要介绍一种利用多方安全计算MPC技术,实现VGG16的人脸识别模型,侧重于模型推理阶段,此工作是多年前完成的,目前已经公开专利,其中涉及到最小化多方安全计算(MPC)以及明密文混合计算的思想,仅供参考。
木二2 个月前
kubernetes·存储·分布式存储
006.MinIO基础使用图形界面创建bucket。特性:Versioning 开启版本控制,开启版本控制则允许在同一键下保持同一对象的多个版本。
无休居士3 个月前
分布式·分布式数据库·分布式存储·分布式文件系统·分布式存储的应用场景·集中式存储
【初出江湖】分布式之什么是分布式存储?分布式存储是一种将数据分散存储在多个节点上的存储方式。与传统的集中式存储相比,分布式存储将数据分布在多个节点上,每个节点都可以独立地存储和访问数据。这种分布式的存储方式可以提供更高的可靠性、可扩展性和性能。
木二3 个月前
kubernetes·minio·分布式存储
005.MinIO-DirectPV分布式多租户存储部署本实验结合Kubernetes进行MinIO部署,实现MinIO于Kubernetes的融合。minio官方支持通过简单的快速部署,以便于进行基础测试:
木二3 个月前
kubernetes·分布式存储
004.MinIO-DirectPV分布式存储部署Kubernetes hostpath、local和本地静态配置都存在需要事先在node节点准备好可用的块存储或文件系统,例如对插入的硬盘,或者磁盘阵列做分区格式化,文件系统则需提前创建好Kubernetes即将利用的挂载目录,并且两种方法都会有亲和性限制,无法做到让Kubernetes自身的去调度让数据卷分布在不同的node节点上。
花花花13 个月前
web3·去中心化·区块链·nft·分布式存储·ipfs
使用Pinata在IPFS上存储NFT图片的实践随着区块链技术的快速发展,NFT(非同质化代币)在数字艺术、游戏和收藏品等领域变得越来越流行。一个关键的问题是如何安全、高效地存储这些NFT的元数据和图片。IPFS(InterPlanetary File System,星际文件系统)提供了一种分布式存储解决方案,能够有效解决这一问题。本文将介绍IPFS及其在NFT存储中的应用,并具体讲解如何使用Pinata平台🚪在IPFS上存储图片。
猿与禅4 个月前
面试·分布式存储·锁优化·锁故障
架构面试-分布式存储系统edits_log分段加锁与锁优化在多线程编程中,volatile关键字是一个非常重要的概念,用于保证变量的可见性,即当一个线程修改了volatile变量的值,其他线程能够立即看到这个变化。这种特性对于实现无锁编程、轻量级的同步机制和高效的并发控制特别有用。下面是一些适合使用volatile的典型场景,特别是在标志位修改等需要可见性的场合。
cah黎明就在眼前6 个月前
java·spring boot·minio·分布式存储
java语言操控minio实现文件的版本管理(基于springboot项目)minio是一款分布式的对象存储服务,本文主要介绍通过springboot项目实现对minio存储系统中文件的版本管理。minio存储服务中可以手动开启版本管理的功能,开启版本管理后每个文件的变更都会生成一个新的版本,包括文件的第一次上传、文件的覆盖以及文件的删除等,每个版本都会有一个版本编号versionId,后续都会根据每个文件的各个版本编号进行版本管理。
程序员老舅7 个月前
数据结构·分布式·ceph·c/c++·分布式存储·c++存储·c++后端
分布式存储 Ceph 的演进经验从 2004 年到今天,Ceph 的存储后端一直都在演变,从最开始基于 B 树的 EBOFS 演变到今天的 BlueStore,存储后端已经变得非常成熟,新的存储系统不仅能够提供良好的性能,还有着优异的兼容性。我们在这篇文章中将要简单介绍分布式存储 Ceph 的架构以及演进过程中遇到的挑战。
大道云行TaoCloud9 个月前
分布式·智能制造·分布式存储·全闪存储
赋能中国制造,大道云行发布智能制造分布式存储解决方案《中国制造2025》指出,“制造业是国民经济的主体,是立国之本、兴国之器、强国之基。”智能制造是一种利用先进的信息技术、自动化技术和智能技术来优化和升级制造业生产过程的方法。它将人工智能、大数据、物联网、机器学习等先进技术应用于制造业,以提高生产效率、降低成本、改善产品质量和推动制造业的转型升级。
MinIO官方账号9 个月前
对象存储·minio·分布式存储·对象复制·跨云
复制策略深入探讨在之前的博客中,我们讨论了复制最佳实践和不同类型的复制,例如批量、站点和存储桶。但是,随着所有这些不同类型的复制类型的出现,人们不得不想知道在哪里使用哪种复制策略?从现有 S3 兼容数据存储迁移数据时,您使用 mc mirror 还是 Batch?在集群之间进行复制时,应该使用站点复制还是存储桶复制?
林崇辉10 个月前
java·分布式·服务发现·分布式存储·手写
手写分布式存储系统v0.3版本承接 手写分布式存储系统v0.2版本 ,今天开始新的迭代开发。主要实现 服务发现功能由于咱们的服务是分布式的,那从服务管理的角度来看肯定是要有一个机制来知道具体都有哪些实例可以提供服务。举个例子就是,张三家里在全国各地有不少火锅加盟店,那张三肯定要有一个方式知道这些火锅店加盟店的情况。例如上海又新开了一家加盟店,那么这家加盟店肯定要先通过某种方式联系张三,这样张三才能将配方以及食材供应给这家新的加盟店等等。
MinIO官方账号10 个月前
数据库·docker·postgresql·硬件架构·minio·分布式存储
使用 MinIO 和 PostgreSQL 简化数据事件本教程将教您如何使用 Docker 和 Docker Compose 在 MinIO 和 PostgreSQL 之间设置和管理数据事件,也称为存储桶或对象事件。
MinIO官方账号10 个月前
人工智能·开源·k8s·硬件架构·对象存储·minio·分布式存储
AI 的未来是开源的想象一下,在未来,人工智能不会被锁在公司的金库里,而是由全球创新者社区一砖一瓦地在开放中构建的。协作,而不是竞争,推动进步,道德考虑与原始绩效同等重要。这不是科幻小说,而是人工智能发展核心正在酝酿的开源革命。但大型科技公司有自己的议程,将受限制的模型掩盖为开源,同时试图从真正开放的社区中获益。让我们剥开代码层,揭开这些努力背后的真相。这场对开源人工智能未来的探索将剖析人工智能开发中的“伪装者”,并捍卫“真正的伪装者”,以揭示开源软件在这一切之下嗡嗡作响的创新引擎。最重要的是,开源人工智能将产生一个开源数据
IT.cat1 年前
运维·docker·云原生·容器·minio·分布式存储
Minio集群部署(docker版本)
草莓不苦1 年前
分布式存储
分布式文件系统对比与选型参考目录一、分布式文件系统1、 数据的存储方式:2、 数据的读取速率3、 数据的安全机制二、主流分布式文件系统介绍
YoungerChina1 年前
分布式·ceph·存储·分布式存储
Ceph分布式存储系统优化分析Ceph支持多种存储访问接口,现有的多种性能测试工具都可用于Ceph的性能测试,如测试块接口性能的fio,iometer等;测试CephFS接口的filebench,fio等;测试对象接口的cosbench等。Ceph有专用的基准测试集CBT,其包含radosbench,librbdfio,kvmrbdfio和rbdfio。radosbench基准测试使用ceph common软件包附带的rados二进制文件,通过对象接口来访问Ceph集群。剩下的3个工具都是测试块存储性能的。