2.2ceph集群部署准备-软件准备上

奋斗的松鼠2024-09-08 0:31

系统的选择

操作系统的选取，除了要考虑ceph本身的运行，一般情况下还需要考虑的因素有如下几点

  • 系统本身的稳定性

    目前稳定可靠的系统主要是基于x86和arm的linux系统，ceph并不能安装到windows上，分支上，debian和redhat为最常见的选择，生产环境用得很多，稳定性久经考验，细分分支中最常见的又数Debian和Centos为佳，像Fedora、ubuntu这类系统虽说开发时间长，用户也多，但作为常年运行的生产环境操作系统来说，是不太合适的。

  • 软件包的支持

    虽然大部分的发行版系统都能够通用软件包，但很难避免有些软件包移植产生一些兼容性问题，尤其在不同平台上，软件包的支持度很重要，运行ceph生产集群除了ceph本身的软件包外，还需要大量的软件包支持集群的监控及补充功能开发，另外，针对ceph的二次开发，也需要一些额外的开发工具支持。

  • 运维人员的熟练度

    集群运行期间需要运维人员进行持续的维护，运维人员对系统的熟悉程度直接关系到运维质量，因此在选定操作系统的同时，也需要考虑运维人员对各类系统的熟练度。

本篇及生产集群的操作系统选取上，我们推荐使用Debian Buster系统，它符合上述的三个要求，并且ceph的Pacific对系统版本有最低要求

即Centos 7.x系列已经不支持安装Ceph Pacific及后续版本了

节点配置国内APT源及本地源的建设

国内源速度快，这里配置的是清华源的debian源

bash 复制代码 
cat /etc/apt/source.list
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-free

配置完成后，需要使用apt update刷新

接下来，我们将自建一个内部的apt源。

我们在前面的步骤中已经配置了腾讯云的源，接下来，我们增加ceph的国内源，并安装apt-mirror

bash 复制代码 
root@debian:/etc/apt# apt install gnupg
root@debian:/etc/apt# wget -q -O- 'http://mirrors.ustc.edu.cn/ceph/keys/release.asc' | apt-key add -
root@debian:/etc/apt# echo deb http://mirrors.ustc.edu.cn/ceph/debian-pacific/ $(lsb_release -sc) main | tee /etc/apt/sources.list.d/ceph.list
root@debian:/etc/apt# apt update
root@debian:/etc/apt# apt install apt-mirror

接下来，我们利用apt源，搭建我们自己的内部源，首先我们要将网络上的源同步到本地，修改mirror的信息如下

bash 复制代码 
############# config ##################
#base_path是指我们同步网络上的源数据到本地的路径，注意这个
#路径必须要有足够的空间存放数据，至少需要110GiB的可用空间
set base_path    /mnt/
set nthreads     20
set _tilde 0
#
############# end config ##############
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-free
deb http://mirrors.ustc.edu.cn/ceph/debian-pacific/ buster main

clean http://ftp.us.debian.org/debian

在开始之前,需要修改apt-mirror的相关配置,否则会有部分deb包无法正常下载

bash 复制代码 
vi /usr/bin/apt-mirror
523行加入对xz的支持
if ( $filename =~ m{^$component/i18n/Translation-[^./]*\.(bz2|xz)$} )

配置都准备好后，我们执行apt-mirror命令进行同步，这个时间比较长，待同步完成后，整个源的包就下载好了.

bash 复制代码 
root@debian:/mnt# apt-mirror
Downloading 118 index files using 20 threads...
Begin time: Sun Feb  4 14:39:44 2024
[20]... [19]... [18]... [17]... [16]... [15]... [14]... [13]... [12]... [11]

接下来下载ceph源的key

bash 复制代码 
wget http://mirrors.ustc.edu.cn/ceph/keys/release.asc

安装并配置nginx，使得我们的源可以被其他集群节点正常访问，注意修改目录的文件权限

bash 复制代码 
apt install nginx
chown www-data.www-data -R /mnt/
vi /etc/nginx/conf.d/apt.conf
server {
    listen       80;
    listen       [::]:80;
    server_name 192.168.183.100 #注意这个位置要改对，不对的话没法用
    charset utf-8;

    # Load configuration files for the default server block.
    index index.html;

    location / {
            root   /var/www/mirror;
            autoindex  on;
            autoindex_exact_size  off;
            autoindex_localtime  on;
            index index.html;
    }

    error_page 404 /404.html;
        location = /40x.html {
    }

    error_page 500 502 503 504 /50x.html;
        location = /50x.html {
    }
}
ln -s /mnt/mirror /var/www/mirror
启动nginx并验证是否能够访问80端口

在网络允许的情况下，最好能够定期同步上游的源，避免出现内部源过期的情况

apt客户端的源配置，首先是常规源

bash 复制代码 
deb http://192.168.183.100/mirrors.tuna.tsinghua.edu.cn/debian/ buster main non-free contrib
deb http://192.168.183.100/mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main
deb http://192.168.183.100/mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main non-free contrib
deb http://192.168.183.100/mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main non-free contrib

apt update

接下来配置ceph源，ceph源需要单独配置key才能正常使用

bash 复制代码 
ansible all -i nodes -m shell -a 'apt install -y gnupg'
deb http://192.168.183.100/mirrors.ustc.edu.cn/ceph/debian-pacific/ buster main
集群节点添加对ceph的key
ansible mons -i nodes -m copy -a 'src=/mnt/mirror/release.asc dest=/root/'
cat release.asc | apt-key add -
apt update

这样我们就可以使用内部的apt源了。

ansible工具

在设计规划像ceph这样的分布式集群时，我们必须考虑规模，尽管很多环境集群规模不大，但是用好批量化的工具很重要，无论集群规模大小，都能够在工作中提升工作效率。

ansible是一款针对大量机器进行批量化操作的软件，安装方便，命令简单，功能强大，我们将在环境中大量用到它

首先，安装配置ansible工具

bash 复制代码 
apt install ansible sshpass

完成后，我们就可以使用ansible工具了。

接下来我们简单认识一下ansible工具的配置文件，这个文件保存在当前目录下，名称为ansible.cfg即可

bash 复制代码 
# Comments inside this file must be set BEFORE the option.
# NOT after the option, otherwise the comment will be interpreted as a value to that option.

[defaults]
ansible_managed = Please do not change this file directly since it is managed by Ansible and will be overwritten
library = ./library
action_plugins = plugins/actions
callback_plugins = plugins/callback
roles_path = ./roles
# Be sure the user running Ansible has permissions on the logfile
log_path = ansible.log

# 指定开启进程数
forks = 10
host_key_checking = False
gathering = smart
fact_caching = jsonfile
fact_caching_connection = $HOME/ansible/facts
fact_caching_timeout = 7200
nocows = 1
callback_whitelist = profile_tasks

# Disable them in the context of https://review.openstack.org/#/c/469644
retry_files_enabled = False

# This is the default SSH timeout to use on connection attempts
# CI slaves are slow so by setting a higher value we can avoid the following error:
# Timeout (12s) waiting for privilege escalation prompt:
timeout = 60

接下来，我们配置一个ansible的应用配置，当我们执行ansible命令时，这个配置告诉ansible应该到哪些节点执行哪些任务，比如下面这个nodes文件

bash 复制代码 
cat nodes
[osds]
192.168.183.101
192.168.183.102
192.168.183.103
192.168.183.104
192.168.183.105
192.168.183.106
192.168.183.107
[mons]
192.168.183.101
192.168.183.102
192.168.183.103
[rgws]
192.168.183.108
192.168.183.109
[all:vars]
ansible_ssh_port = 22
ansible_ssh_user=root
ansible_ssh_pass=pupu666

比如，我们可以使用如下命令测试节点的连通性

bash 复制代码 
ansible all -i nodes -m ping

或者我们单独指定探测osd节点的负载情况

bash 复制代码 
ansible osds -i nodes -m shell -a 'uptime'

接下来我们用ansible工具将本节点的hosts文件进行分发，首先创建/etc/hosts文件，hosts相关配置对我们后续集群建设有很大影响

bash 复制代码 
for x in $( seq 1 9 );do echo "192.168.183.10${x} debian${x}";done

cat /etc/hosts
192.168.183.100 deployhost
192.168.183.101 debian1
192.168.183.102 debian2
192.168.183.103 debian3
192.168.183.104 debian4
192.168.183.105 debian5
192.168.183.106 debian6
192.168.183.107 debian7
192.168.183.108 debian8
192.168.183.109 debian9

ansible all -i nodes -m copy -a 'src=/etc/hosts dest=/etc/hosts'
相关推荐
Data跳动3 小时前
Spark内存都消耗在哪里了？
大数据·分布式·spark
Java程序之猿4 小时前
微服务分布式(一、项目初始化)
分布式·微服务·架构
来一杯龙舌兰5 小时前
【RabbitMQ】RabbitMQ保证消息不丢失的N种策略的思想总结
分布式·rabbitmq·ruby·持久化·ack·消息确认
节点。csn6 小时前
Hadoop yarn安装
大数据·hadoop·分布式
NiNg_1_2348 小时前
基于Hadoop的数据清洗
大数据·hadoop·分布式
隔着天花板看星星9 小时前
Spark-Streaming集成Kafka
大数据·分布式·中间件·spark·kafka
技术路上的苦行僧13 小时前
分布式专题(8)之MongoDB存储原理&多文档事务详解
数据库·分布式·mongodb
龙哥·三年风水13 小时前
workman服务端开发模式-应用开发-后端api推送修改二
分布式·gateway·php
小小工匠14 小时前
分布式协同 - 分布式事务_2PC & 3PC解决方案
分布式·分布式事务·2pc·3pc
闯闯的日常分享16 小时前
分布式锁的原理分析
分布式
热门推荐
01〔AI 绘画〕Stable Diffusion 之 解决绘制多人或面部很小的人物时面部崩坏问题 篇02ARM学习（31）编译器对overlay方式的支持03玄机平台应急响应—webshell查杀04DisplayPort AltMode On Type-c协议_Ver2.0(学习笔记)05校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站06Docker 夺命连环 15 问076个主流的工业3D管道设计软件08基于大语言模型（LLM）的合成数据生成、策展和评估的综述09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10树莓派 5 AI 套件（Hailo-8L）使用教程