swift学习小结

1 常用命令

1.1 md5sum file

生成文件md5值

1.2 上传obj

curl -ik -X PUT -T upload_file_namea https://ip:port/v1/account/container/custom_obj_name -H ...

1.3 下载obj

curl -k https://ip:port/v1/account/container/custom_obj_name

1.4 查看软件仓库列表

curl -k https://ip:port/v1/account/container

1.5 获取对象存储信息

swift-get-nodes -a /etc/swift/object.ring.gz account/container/obj

1.6 通过对象存储信息获取对象信息

swift-object-info object.data

1.7 获取account/container/object设备信息

swift-ring-builder account/container/object .ring.gz

2 基本概念

2.1 一致性哈希

相比于哈希,减少了因节点数量变化导致的大量重映射工作量

算法是将哈希空间设为一个环,每个环的一小段对应一个节点,若删节点,被删节点空间自动被上一个节点承接,若增节点,会细分已有节点的环段

2.2 数据一致性模型

N:swift副本节点总数 W:写操作需确认节点数 R:读操作需确认节点数

强一致:R+W>R 可读取最新数据

弱一致:R+W<R 可能读到老数据

2.3 数据模型

包括account,container,object,obj放在container下,container归在account下

2.4 ring

将虚拟节点映射到物理设备上,包括account,container,object的ring。映射原理:

根据虚拟节点的指数,将object生成的md5向右移位,剩余位数=log2(虚拟节点数),每个obj即可映射到虚拟节点,虚拟节点(好像也叫分区)通过分区设备映射表映射到设备

相关推荐
无足鸟ICT几秒前
【RHCA+】IO调度算法
linux·服务器
打工仔折腾 AI16 分钟前
Changedetection.io 网页变动监控:Docker 部署、通知配置与公网暴露实践
运维·人工智能·后端·python·docker·容器·性能优化
wacsii24 分钟前
【Linux进程(四)】命令行参数与环境变量
linux·服务器
无奈笑天下26 分钟前
银河麒麟上lsblk命令教程详解
linux·运维·服务器·数据库
fengkai45451 小时前
Prometheus+K8s弹性伸缩综合项目
运维·kubernetes·k8s·prometheus·hpa·vpa
科研邪修法2 小时前
培训PDF保护配置:把需求转换成可验收权限
linux·服务器·网络
Felven2 小时前
中科驭数100G网卡RDMA性能测试
linux·rdma·中科驭数·100g网卡
分布式存储与RustFS3 小时前
镜像仓库的层别只堆本地盘:用 RustFS 给 Harbor 当 S3 后端
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
Lansonli4 小时前
大数据Spark(八十八):Spark任务资源之Standalone集群测试
java·服务器·spark
雪落漂泊5 小时前
Liunux进程(七):程序控制篇(中)
linux·运维·windows