对象存储

云存储小天使

数据持久性是如何炼成的——对象存储容灾技术解析存储系统作为支撑人工智能发展的关键基础设施，不仅需要提供弹性、海量数据存储能力，还要保证数据的安全性和可靠性，以确保业务的核心数据资产得以持久存储，大模型时代对海量数据的安全可靠存储提出了更高的要求。对象存储具有优秀的成本效益，丰富和卓越的数据安全保障措施，是构建云上企业级存储设施的首要选择。面对更高的数据安全要求，对象存储也提供了版本控制、跨地域复制、多AZ等多种数据容灾手段，帮助企业更好地保护和管理其数据资产。尤其是多AZ技术，能够将客户数据分散存储在城市中多个不同的数据中心，当某个数据中心因自然灾

cephFS的使用以及K8S对接cephFS1.创建两个存储池分别用于存储mds的元数据和数据2.创建一个文件系统，名称为"zhiyong18-cephfs"

ceph的存储池管理注：在18.2.4版本中，创建存储池若不指定pg默认数量为32个1.创建存储池2.创建存储池时可以指定pg数量，一般情况下，pg和pgp数量一致。

ceph的用户管理和cephx认证参考链接：权限：https://docs.ceph.com/en/latest/rados/operations/user-management/#authorization-capabilities 用户：https://docs.ceph.com/en/reef/rados/operations/user-management/

ceph的集群管理在上一篇文章中，已经成功地初始化了一个ceph管理节点ceph141。接下来要做的是把ceph142、ceph143节点给添加到集群。

块存储、文件存储和对象存储详细介绍块存储：像跑车，因为它们都能提供快速的响应和高性能，适合需要即时数据访问的场景，比如数据库和虚拟化技术。文件存储：像货车，因为它们都能承载大量货物（文件）并沿固定路线（文件系统结构）运输，适合文件共享和多用户协作环境。对象存储：像轮船，因为它们都能在广阔的海域（互联网）中自由航行（存储大规模数据），适合不经常访问的大型数据备份和归档。

百度智能云技术站

计算不停歇，百度沧海数据湖存储加速方案 2.0 设计和实践本文整理自百度云智峰会 2024 —— 云原生论坛的同名演讲。今天给大家介绍下百度沧海·存储团队在数据湖加速方面的工作进展情况。

minio笔记之windows下安装使用直接安装即可设置密码 set MINIO_ROOT_USER=admin set MINIO_ROOT_PASSWORD=12345678

分布式对象存储minio本教程minio 版本：RELEASE.2021-07-*及以上互联网海量非结构化数据的存储需求MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。

Bond——大数据时代的数据交换和存储格式设想我们在一家很大的互联网公司做IT方面的规划、开发和维护，有以下这样的应用场景：相信在大公司或者在大公司做过外包的童鞋，都接触过这样一种数据对象，那就是Bond格式，目前Bond由M$维护，官方网站：https://github.com/microsoft/bond/，上面提供了各种语言的示例、编译工具等。一个基本的Bond文件如下所示：

MinIO官方账号

MinIO 网络与覆盖网络云计算和容器化技术的发展改变了应用程序的开发、部署和管理方式。这种转变给网络环境带来了重大变化，为DevOps和SRE工程师带来了新的挑战和机遇。然而，在这种转变中，出现了明显的知识差距，特别是在理解物理网络和硬件背景下网络的复杂性方面。

文件系统小册（Fuse&Posix&K8s csi）【3 K8s csi】往期文章：流程： ①k8s创建与挂载volume（ceph csi plugin为例）：：②csi实现存储创建过程（ceph csi plugin为例）：

【golang】动态生成微信小程序二维码实战下：golang 生成小程序二维码图片并通过s3协议上传到对象存储桶 | 腾讯云 cos在自研的系统，需要实现类似草料二维码的功能将我们自己的小程序，通过代码生成相想要的小程序二维码代码已经上传到 Github 需要的朋友可以自取 https://github.com/ctra-wang/wechat-mini-qrcode

黯然神伤888

前端、后端上传文件到OSS，简明记录上传文件到oss的方式：**后端上传：**文件先要从页面上传到后端存起来，再通过后端发送到oss，然后后端将存起来的文件删除（当然可以不删）。

Flutter Provider 使用指南详解在Flutter应用程序开发中，状态管理是一个至关重要的方面。随着应用程序的复杂性增加，有效地管理和共享状态变得至关重要。Flutter Provider是一个流行的状态管理解决方案，它提供了一种简单而强大的方式来管理Flutter应用程序中的状态。

MinIO官方账号

使用GitOps自动化推动AI/ML工作流程作为一名深耕自动化和人工智能领域的开发人员，我们逐渐认识到尖端工具和方法之间的显着协同作用，这些协同作用突破了可能性的界限。在这次探索中，我们想分享一个概念，它不仅彻底改变了我们的软件开发和基础设施管理方法，而且还打开了无尽创新的大门：GitOps。这种范例利用 Git 的力量作为卓越运营的基石，已经成为我们工具包中的游戏规则改变者，并为无限的可能性奠定了基础。

MinIO官方账号

复制策略深入探讨在之前的博客中，我们讨论了复制最佳实践和不同类型的复制，例如批量、站点和存储桶。但是，随着所有这些不同类型的复制类型的出现，人们不得不想知道在哪里使用哪种复制策略？从现有 S3 兼容数据存储迁移数据时，您使用 mc mirror 还是 Batch？在集群之间进行复制时，应该使用站点复制还是存储桶复制？

MinIO官方账号

MinIO 和 Apache Tika：文本提取模式在这篇文章中，我们将使用 MinIO Bucket Notifications 和 Apache Tika 进行文档文本提取，这是大型语言模型训练和检索增强生成 LLM和RAG 等关键下游任务的核心。

MinIO官方账号

AI 的未来是开源的想象一下，在未来，人工智能不会被锁在公司的金库里，而是由全球创新者社区一砖一瓦地在开放中构建的。协作，而不是竞争，推动进步，道德考虑与原始绩效同等重要。这不是科幻小说，而是人工智能发展核心正在酝酿的开源革命。但大型科技公司有自己的议程，将受限制的模型掩盖为开源，同时试图从真正开放的社区中获益。让我们剥开代码层，揭开这些努力背后的真相。这场对开源人工智能未来的探索将剖析人工智能开发中的“伪装者”，并捍卫“真正的伪装者”，以揭示开源软件在这一切之下嗡嗡作响的创新引擎。最重要的是，开源人工智能将产生一个开源数据

最全对象存储（云盘）挂载本地主机或服务器分布式存储的应用场景相对于其存储接口，现在流行分为三种: 块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在，这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口，块存储一般体现形式是卷或者硬盘（比如windows里面看到的c盘），数据是按字节来访问的，对于块存储而言，对里面存的数据内容和格式是完全一无所知的。可以简单的理解为玉米粒。文件存储: 通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，