分布式存储

木二7 天前
kubernetes·存储·分布式存储
006.MinIO基础使用图形界面创建bucket。特性:Versioning 开启版本控制,开启版本控制则允许在同一键下保持同一对象的多个版本。
无休居士13 天前
分布式·分布式数据库·分布式存储·分布式文件系统·分布式存储的应用场景·集中式存储
【初出江湖】分布式之什么是分布式存储?分布式存储是一种将数据分散存储在多个节点上的存储方式。与传统的集中式存储相比,分布式存储将数据分布在多个节点上,每个节点都可以独立地存储和访问数据。这种分布式的存储方式可以提供更高的可靠性、可扩展性和性能。
木二14 天前
kubernetes·minio·分布式存储
005.MinIO-DirectPV分布式多租户存储部署本实验结合Kubernetes进行MinIO部署,实现MinIO于Kubernetes的融合。minio官方支持通过简单的快速部署,以便于进行基础测试:
木二1 个月前
kubernetes·分布式存储
004.MinIO-DirectPV分布式存储部署Kubernetes hostpath、local和本地静态配置都存在需要事先在node节点准备好可用的块存储或文件系统,例如对插入的硬盘,或者磁盘阵列做分区格式化,文件系统则需提前创建好Kubernetes即将利用的挂载目录,并且两种方法都会有亲和性限制,无法做到让Kubernetes自身的去调度让数据卷分布在不同的node节点上。
花花花11 个月前
web3·去中心化·区块链·nft·分布式存储·ipfs
使用Pinata在IPFS上存储NFT图片的实践随着区块链技术的快速发展,NFT(非同质化代币)在数字艺术、游戏和收藏品等领域变得越来越流行。一个关键的问题是如何安全、高效地存储这些NFT的元数据和图片。IPFS(InterPlanetary File System,星际文件系统)提供了一种分布式存储解决方案,能够有效解决这一问题。本文将介绍IPFS及其在NFT存储中的应用,并具体讲解如何使用Pinata平台🚪在IPFS上存储图片。
猿与禅2 个月前
面试·分布式存储·锁优化·锁故障
架构面试-分布式存储系统edits_log分段加锁与锁优化在多线程编程中,volatile关键字是一个非常重要的概念,用于保证变量的可见性,即当一个线程修改了volatile变量的值,其他线程能够立即看到这个变化。这种特性对于实现无锁编程、轻量级的同步机制和高效的并发控制特别有用。下面是一些适合使用volatile的典型场景,特别是在标志位修改等需要可见性的场合。
cah黎明就在眼前4 个月前
java·spring boot·minio·分布式存储
java语言操控minio实现文件的版本管理(基于springboot项目)minio是一款分布式的对象存储服务,本文主要介绍通过springboot项目实现对minio存储系统中文件的版本管理。minio存储服务中可以手动开启版本管理的功能,开启版本管理后每个文件的变更都会生成一个新的版本,包括文件的第一次上传、文件的覆盖以及文件的删除等,每个版本都会有一个版本编号versionId,后续都会根据每个文件的各个版本编号进行版本管理。
程序员老舅5 个月前
数据结构·分布式·ceph·c/c++·分布式存储·c++存储·c++后端
分布式存储 Ceph 的演进经验从 2004 年到今天,Ceph 的存储后端一直都在演变,从最开始基于 B 树的 EBOFS 演变到今天的 BlueStore,存储后端已经变得非常成熟,新的存储系统不仅能够提供良好的性能,还有着优异的兼容性。我们在这篇文章中将要简单介绍分布式存储 Ceph 的架构以及演进过程中遇到的挑战。
大道云行TaoCloud7 个月前
分布式·智能制造·分布式存储·全闪存储
赋能中国制造,大道云行发布智能制造分布式存储解决方案《中国制造2025》指出,“制造业是国民经济的主体,是立国之本、兴国之器、强国之基。”智能制造是一种利用先进的信息技术、自动化技术和智能技术来优化和升级制造业生产过程的方法。它将人工智能、大数据、物联网、机器学习等先进技术应用于制造业,以提高生产效率、降低成本、改善产品质量和推动制造业的转型升级。
MinIO官方账号7 个月前
对象存储·minio·分布式存储·对象复制·跨云
复制策略深入探讨在之前的博客中,我们讨论了复制最佳实践和不同类型的复制,例如批量、站点和存储桶。但是,随着所有这些不同类型的复制类型的出现,人们不得不想知道在哪里使用哪种复制策略?从现有 S3 兼容数据存储迁移数据时,您使用 mc mirror 还是 Batch?在集群之间进行复制时,应该使用站点复制还是存储桶复制?
林崇辉7 个月前
java·分布式·服务发现·分布式存储·手写
手写分布式存储系统v0.3版本承接 手写分布式存储系统v0.2版本 ,今天开始新的迭代开发。主要实现 服务发现功能由于咱们的服务是分布式的,那从服务管理的角度来看肯定是要有一个机制来知道具体都有哪些实例可以提供服务。举个例子就是,张三家里在全国各地有不少火锅加盟店,那张三肯定要有一个方式知道这些火锅店加盟店的情况。例如上海又新开了一家加盟店,那么这家加盟店肯定要先通过某种方式联系张三,这样张三才能将配方以及食材供应给这家新的加盟店等等。
MinIO官方账号8 个月前
数据库·docker·postgresql·硬件架构·minio·分布式存储
使用 MinIO 和 PostgreSQL 简化数据事件本教程将教您如何使用 Docker 和 Docker Compose 在 MinIO 和 PostgreSQL 之间设置和管理数据事件,也称为存储桶或对象事件。
MinIO官方账号8 个月前
人工智能·开源·k8s·硬件架构·对象存储·minio·分布式存储
AI 的未来是开源的想象一下,在未来,人工智能不会被锁在公司的金库里,而是由全球创新者社区一砖一瓦地在开放中构建的。协作,而不是竞争,推动进步,道德考虑与原始绩效同等重要。这不是科幻小说,而是人工智能发展核心正在酝酿的开源革命。但大型科技公司有自己的议程,将受限制的模型掩盖为开源,同时试图从真正开放的社区中获益。让我们剥开代码层,揭开这些努力背后的真相。这场对开源人工智能未来的探索将剖析人工智能开发中的“伪装者”,并捍卫“真正的伪装者”,以揭示开源软件在这一切之下嗡嗡作响的创新引擎。最重要的是,开源人工智能将产生一个开源数据
IT.cat8 个月前
运维·docker·云原生·容器·minio·分布式存储
Minio集群部署(docker版本)
草莓不苦1 年前
分布式存储
分布式文件系统对比与选型参考目录一、分布式文件系统1、 数据的存储方式:2、 数据的读取速率3、 数据的安全机制二、主流分布式文件系统介绍
YoungerChina1 年前
分布式·ceph·存储·分布式存储
Ceph分布式存储系统优化分析Ceph支持多种存储访问接口,现有的多种性能测试工具都可用于Ceph的性能测试,如测试块接口性能的fio,iometer等;测试CephFS接口的filebench,fio等;测试对象接口的cosbench等。Ceph有专用的基准测试集CBT,其包含radosbench,librbdfio,kvmrbdfio和rbdfio。radosbench基准测试使用ceph common软件包附带的rados二进制文件,通过对象接口来访问Ceph集群。剩下的3个工具都是测试块存储性能的。
YoungerChina1 年前
ceph·分布式存储
滴滴Ceph分布式存储系统优化之锁优化摘自:https://mp.weixin.qq.com/s/oWujGOLLGItu1Bv5AuO0-A