Ceph 部署排错实录:Dashboard 证书告警与离线镜像六类故障的现象、原因与解决

cephadm 部署 Ceph 集群,命令本身只有一条 bootstrap,真正耗时间的是部署路上那几类「意料之外」:浏览器访问 Dashboard 满屏证书告警、mirror 配了却不生效、prometheus 容器反复退出、podman ps 里 IMAGE 列显示旧域名......这篇把六个真实踩过的故障按「出现的问题 → 问题的原因 → 解决方法」逐一复盘,环境为 Rocky 8 + cephadm + Ceph Pacific + Harbor 私有仓库 hub.zhb.cloud,每条都给验证命令。

本文概要:

项目 内容
文章主题 Ceph Dashboard 证书告警与镜像加速故障的定位与解决
所属类别 分布式存储 / 运维排错
关键字 自签名证书、通配符证书、Chrome 证书信任、Podman mirror、Harbor、cephadm

主线分两组:证书线 (问题 1、2)解决「浏览器访问 Dashboard 的 HTTPS 告警」,从服务端换通配符证书到客户端 Chrome 导入受信任根;镜像线(问题 3~6)解决「离线环境下镜像拉取与显示」的四个坑。部署步骤本身见部署篇,这里只谈故障。


一、故障总览

编号 问题 一句话根因
问题 1 浏览器访问 Dashboard 报「您的连接不是私密连接」 bootstrap 默认自签证书:单域名、不在任何受信任存储
问题 2 服务端换了证书,浏览器仍拦截 / 报 ERRSSL KEYUSAGEINCOMPATIBLE 客户端没有信任锚;keyUsage 缺 DigitalSignature;存储位置选错;缓存残留
问题 3 mirror 配置了,pull 却仍直连 quay.io 用户级 registries.conf 整体覆盖系统级规则
问题 4 prometheus 容器反复退出,其余组件正常 本机缺 quay.io 名字的镜像别名,cephadm 按名 pull 失败
问题 5 镜像换名后 podman ps 的 IMAGE 列仍显示旧域名 IMAGE 列是容器创建时固化的静态字符串
问题 6 纯离线环境 pull 失败 cephadm 按镜像名 pull,必须有仓库承载

二、问题 1:浏览器访问 Dashboard 报「您的连接不是私密连接」

2.1 出现的问题

bootstrap 完成后,浏览器访问 https://ceph1.zhb.cloud:8443/,直接落在证书告警页,每次都要手动点「高级 → 接受风险并继续」才能进登录页:

Chrome 侧的典型报错是 NET::ERR_CERT_AUTHORITY_INVALID(含义:证书颁发机构无效)。

2.2 问题的原因

bootstrap 在部署 Dashboard 模块时自动生成了一张默认自签证书 (输出里有对应一行:Generating a dashboard self-signed certificate...),它有三个特征,凑齐了必然被浏览器拦:

  • 只有一个名字 :证书只含引导节点的主机名(ceph1.zhb.cloud),不含通配符,也不含裸域名------换个名字访问就是证书不匹配。
  • 不在任何受信任存储里:证书由 Ceph 自己随机生成签发,Windows / 浏览器的受信任根证书颁发机构里根本没有它的签发者,证书链从第一环就断。
  • HTTPS 强制校验:8443 是 SSL 端口,浏览器对 HTTPS 站点强制校验证书链,找不到信任锚就拦截,没有「仅此一次」的豁免。

另外埋一个伏笔:现代浏览器(Chrome / Edge 115+)对自签证书还校验 keyUsage 扩展,即使把证书导入受信任区,缺 DigitalSignature 仍会被拦------这正是问题 2 的根源之一,下面的生成脚本会提前规避。

2.3 解决方法

思路:生成一张符合浏览器要求的 *.zhb.cloud 通配符自签证书(同时覆盖裸域名),导入 Ceph Dashboard 替换默认证书。适用环境:cephadm 部署的 Ceph v16+,Dashboard HTTPS 默认端口 8443。

第 1 步:生成通配符证书。 保存为 /root/gen-wildcard-cert.sh:

bash 复制代码
#!/usr/bin/env bash
set -euo pipefail

# ================= 只需修改这里 =================
DOMAIN="zhb.cloud"
# ===============================================

CERT_DIR="/root/ceph-dashboard-certs"
DAYS=825
KEY_BITS=2048

mkdir -p "${CERT_DIR}"
cd "${CERT_DIR}"

CNF="${DOMAIN}.cnf"
KEY="${DOMAIN}.key"
CSR="${DOMAIN}.csr"
CRT="${DOMAIN}.crt"

cat > "${CNF}" <<EOF
[ req ]
default_bits       = ${KEY_BITS}
prompt             = no
default_md         = sha256
distinguished_name = dn
req_extensions     = v3_req

[ dn ]
CN = *.${DOMAIN}

[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = critical, digitalSignature, keyEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names

[ alt_names ]
DNS.1 = ${DOMAIN}
DNS.2 = *.${DOMAIN}
EOF

openssl genrsa -out "${KEY}" "${KEY_BITS}"
chmod 600 "${KEY}"

openssl req -new -key "${KEY}" -out "${CSR}" -config "${CNF}"

# 签发阶段必须再次引用 -extfile 和 -extensions,否则扩展不会写入最终证书
openssl x509 -req -in "${CSR}" \
  -signkey "${KEY}" \
  -out "${CRT}" \
  -days "${DAYS}" -sha256 \
  -extfile "${CNF}" -extensions v3_req

echo "===== Key Usage ====="
openssl x509 -in "${CRT}" -noout -text | grep -A1 "Key Usage"
echo
echo "===== Subject Alternative Name ====="
openssl x509 -in "${CRT}" -noout -text | grep -A3 "Subject Alternative Name"
echo
echo "证书: ${CRT}"
echo "私钥: ${KEY}"

执行并确认输出里有两段关键内容:

bash 复制代码
[root@ceph1 ~]# chmod +x /root/gen-wildcard-cert.sh
[root@ceph1 ~]# /root/gen-wildcard-cert.sh
text 复制代码
X509v3 Key Usage: critical
    Digital Signature, Key Encipherment
......
X509v3 Subject Alternative Name:
    DNS:zhb.cloud, DNS:*.zhb.cloud

只要 Digital Signature 和 DNS:\*.zhb.cloud 都在,证书本身就满足后续 Ceph 使用和浏览器信任的基础条件。

第 2 步:导入 Ceph Dashboard。 使用不带主机名参数的全局方式导入,证书会写入 mgr/dashboard/crt 和 mgr/dashboard/key,对所有 mgr 实例生效:

bash 复制代码
[root@ceph1 ~]# ceph dashboard set-ssl-certificate -i /root/ceph-dashboard-certs/zhb.cloud.crt
[root@ceph1 ~]# ceph dashboard set-ssl-certificate-key -i /root/ceph-dashboard-certs/zhb.cloud.key

第 3 步:重启 mgr 并验证 Ceph 侧实际返回的证书。 等待约 30--60 秒让 mgr 重新选主并加载 Dashboard 模块:

bash 复制代码
[root@ceph1 ~]# ceph orch restart mgr

[root@ceph1 ~]# echo | openssl s_client -connect ceph1.zhb.cloud:8443 -servername ceph1.zhb.cloud 2>/dev/null \
  | openssl x509 -noout -subject -issuer -dates -ext subjectAltName

预期 SAN 中包含 DNS:zhb.cloud, DNS:*.zhb.cloud。如果 issuer 仍是 Ceph 默认自签证书,检查是否存在按主机的证书覆盖:

bash 复制代码
[root@ceph1 ~]# ceph config-key ls | grep dashboard
# 如有 mgr/dashboard/<HOSTNAME>/crt 等按主机键,删除对应键后再次执行 ceph orch restart mgr

到这里服务端就绪。浏览器还拦不拦,取决于客户端是否信任这张证书------见问题 2。


三、问题 2:服务端换了证书,浏览器仍拦截

3.1 出现的问题

按问题 1 换好证书、ceph orch restart mgr 之后,浏览器访问 https://ceph1.zhb.cloud:8443/ 仍然出现拦截页;或者换了另一种报错:

  • ERR_SSL_KEY_USAGE_INCOMPATIBLE(含义:证书密钥用法不兼容);
  • NET::ERR_CERT_INVALID(含义:证书无效);
  • 或者导入了证书,但在「受信任的根证书颁发机构」列表里根本找不到。

3.2 问题的原因

按命中概率排四类:

  • 客户端没有信任锚 :set-ssl-certificate 只解决「服务端出示哪张证书」,浏览器这头还要把这张证书放进自己的受信任根存储,两端齐备告警才消失。只做服务端,等于换了张浏览器照样不认识的证书。
  • keyUsage 缺 DigitalSignature :Chrome / Edge 115+ 对「本地信任锚签发的 RSA 证书」强制要求 keyUsage 含 DigitalSignature,缺了就报 ERR_SSL_KEY_USAGE_INCOMPATIBLE。很多老教程的 openssl 命令不带 -extfile,扩展根本没写进证书。
  • 导入存储位置选错:Windows 证书对话框默认导到「当前用户」存储,而浏览器校验时走的是「本地计算机」的受信任根------导错位置等于没导。
  • 缓存残留:HSTS 策略、未退干净的后台浏览器进程,都会让「明明已经修好」的站点继续报旧状态。

3.3 解决方法

第 1 步:从网页导出浏览器实际收到的证书。 关键原则:必须从网页下载浏览器实际验证的那张证书 ,而不是直接把服务器上的 .crt 文件拷到 Windows------两者在证书链异常时可能不一致。在 Windows 客户端用 Chrome 访问 https://ceph1.zhb.cloud:8443/,出现告警页后:

  1. 点击地址栏左侧的「不安全」或「证书(无效)」提示;
  2. 打开站点信息面板,点击「连接不安全」;
  3. 打开证书查看器,切换到「详细信息」选项卡;
  4. 点击「导出」,选择 DER 编码二进制 X.509(.CER) 或 Base64 编码 X.509(.CER);
  5. 保存为 C:\certs\ceph-dashboard.cer。

第 2 步:在 Chrome 设置中导入到「受信任的根证书颁发机构」。 Chrome 的证书管理界面实际调用 Windows 证书存储,必须导入到受信任的根、且存储位置选「本地计算机」:

导入完成后,在「受信任的根证书颁发机构 → 证书」列表中应能看到该证书。

第 3 步:彻底重启浏览器并验证。 仅关闭窗口不够,必须清理后台进程:

  1. 按 Ctrl + Shift + Esc 打开任务管理器;
  2. 找到所有 chrome.exe 进程(Edge 场景则是 msedge.exe);
  3. 逐个右键 →「结束任务」,确保列表中不再有残留进程。

重新打开 Chrome 访问 https://ceph1.zhb.cloud:8443/,预期不再出现证书拦截页面。点击地址栏锁形图标 →「连接已安全」→「证书」,确认颁发者与自签证书一致、证书路径位于「受信任的根证书颁发机构」之下。

第 4 步:仍报错时的三个补充手段。

手段一,清理 HSTS 残留:

text 复制代码
chrome://net-internals/#hsts

在「Delete domain security policies」中输入 zhb.cloud,勾选「Include sub-domains」,点击 Delete。

手段二,关闭浏览器对本地信任锚的 RSA 密钥用法策略(证书确认无误但仍报 ERR_SSL_KEY_USAGE_INCOMPATIBLE 时)。Chrome 与 Edge 都是 Chromium 内核,策略位置分别在:

text 复制代码
HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Chrome     (Chrome)
HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Edge       (Edge)

新建 DWORD (32 位):RSAKeyUsageForLocalAnchorsEnabled,数值数据 0,然后彻底结束所有浏览器进程并重新打开。

手段三,用裸域名 zhb.cloud 访问仍报不匹配时,检查证书 SAN 是否同时包含 zhb.cloud 和 *.zhb.cloud:

bash 复制代码
[root@ceph1 ~]# openssl x509 -in /root/ceph-dashboard-certs/zhb.cloud.crt -noout -text | grep -A3 "Subject Alternative Name"

缺失就回到问题 1 的脚本重新生成、重新导入两端。

3.4 全流程速查表

阶段 操作位置 关键动作
生成证书 Linux 服务器 运行脚本 DOMAIN="zhb.cloud",确认 keyUsage 含 Digital Signature,SAN 含 zhb.cloud 和 *.zhb.cloud
导入 Ceph Linux 服务器 ceph dashboard set-ssl-certificate / -key,然后 ceph orch restart mgr
验证 Ceph Linux 服务器 openssl s_client -connect ceph1.zhb.cloud:8443 确认 SAN 正确
下载证书 Windows Chrome 访问 Dashboard →「不安全」→ 证书查看器 → 详细信息 → 导出 .cer
打开证书管理 Chrome chrome://settings/privacy → 管理证书
导入 Root Windows 证书对话框 「受信任的根证书颁发机构」→ 导入 → 本地计算机 → 选择 .cer
刷新缓存 任务管理器 结束所有 chrome.exe
验证 Chrome 锁形图标 → 证书 → 路径来自「受信任的根证书颁发机构」
仍报错 浏览器 / 注册表 清理 HSTS;必要时设置 RSAKeyUsageForLocalAnchorsEnabled=0 并彻底重启浏览器

四、问题 3:mirror 配置了,pull 却仍直连 quay.io

4.1 出现的问题

/etc/containers/registries.conf.d/ 下明明配好了 mirror,podman pull quay.io/... 却还是连公网------开 debug 一看,请求落点是 GET https://quay.io/v2/ 而不是内网仓库。

4.2 问题的原因

Podman 的镜像源配置存在两处,且不是叠加关系:

  • 用户级:~/.config/containers/registries.conf(root 即 /root/.config/containers/registries.conf);
  • 系统级:/etc/containers/registries.conf.d/*.conf。

用户级文件存在时会整体覆盖系统级规则------系统级里配的 mirror 全部失效,pull 就悄悄直连 quay.io。它不报错、不告警,配置看起来都在,这是这个问题最隐蔽的地方。

4.3 解决方法

两处只保留一处:要么把 mirror 写进用户级文件,要么删掉用户级文件只留系统级。然后做两级验证:

bash 复制代码
# 验证 1:带认证查私有仓库的镜像列表(_catalog 接口需要登录,匿名访问返回 UNAUTHORIZED)
# 密码含 # 等特殊字符时建议加引号,避免 shell 误解析
[root@ceph1 ~]# curl -s -u 'admin:Zhb@123#' http://hub.zhb.cloud/v2/_catalog
{"repositories":["ceph/ceph","ceph/ceph-grafana","prometheus/prometheus","prometheus/alertmanager","prometheus/node-exporter"]}

# 验证 2:实际 pull 一次,看请求落点
[root@ceph1 ~]# podman pull --log-level=debug quay.io/ceph/ceph:v16 2>&1 | grep -i "GET https"
DEBU GET https://hub.zhb.cloud/v2/
DEBU GET https://hub.zhb.cloud/v2/ceph/ceph/manifests/v16

注意别把认证报错误判成仓库故障:Harbor 的 /v2/_catalog 是认证接口 ,匿名 curl 只会得到 {"errors":[{"code":"UNAUTHORIZED",...}]}------这正常,仓库没坏。不带凭证时验证 1 必然失败,所以要么带 -u 用户:密码 再查,要么直接用验证 2 的 debug 日志看请求落点。

看到 GET https://hub.zhb.cloud/... 才算配好。整条链路的走向:


五、问题 4:prometheus 容器反复退出,其余组件正常

5.1 出现的问题

集群里 mon/mgr/osd/grafana 全部正常,唯独 prometheus 的容器 STATUS 是 Exited,反复重启仍起不来。

5.2 问题的原因

查容器日志定位到镜像拉取失败:本机缺少 quay.io/prometheus/prometheus:v2.33.4 这个「名字」的镜像。这里有个反直觉的点------cephadm 按配置里的镜像名 pull,本地镜像库里哪怕镜像本体一字不差地存在,只要名字(仓库路径 + tag)对不上任何一个本地标签,它照样去仓库拉,离线环境直接失败。

5.3 解决方法

给镜像补别名而不是删旧名------quay.io 的标签保留、只补不删:

bash 复制代码
# 找到镜像 ID
[root@ceph1 ~]# podman image ls | grep prometheus

# 同一 IMAGE ID 补一个 quay.io 名(tag 操作不产生新数据)
[root@ceph1 ~]# podman tag <IMAGE_ID> quay.io/prometheus/prometheus:v2.33.4

# 重启该 daemon
[root@ceph1 ~]# ceph orch daemon restart prometheus.ceph1

quay.io 名与 hub.zhb.cloud 名共用同一 IMAGE ID,不占额外空间。保留 quay.io 别名还有一个理由:cephadm 的默认镜像名就是它 ,任何未显式配置的组件都按这个名字 pull,删掉等于重新制造故障。健康的做法是让 5 组镜像的 quay.io/... 与 hub.zhb.cloud/... 标签成对齐全、ID 相同(镜像清单见部署篇 2.4 节)。


六、问题 5:镜像换名后,podman ps 的 IMAGE 列仍显示旧域名

6.1 出现的问题

镜像已经换成 hub.zhb.cloud 的名字、集群配置也已指向新名,但 podman ps 里容器的 IMAGE 列还显示迁移前的旧仓库名(或 quay.io/...),看着像「配置没生效」。

6.2 问题的原因

这不是配置问题------podman ps 的 IMAGE 列是容器创建时固化的静态字符串,容器不重建,这一列就永远显示创建那一刻的名字,之后镜像怎么改名、配置怎么换都不影响显示。

6.3 解决方法

确认集群配置里的镜像名已换成新域名后,redeploy 容器让引用刷新:

bash 复制代码
[root@ceph1 ~]# ceph orch daemon redeploy prometheus.ceph1
[root@ceph1 ~]# podman ps --format "{{.Names}}\t{{.Image}}"

顺序有讲究:先改配置、再 redeploy。反过来做的话,redeploy 会按旧镜像名 pull,离线环境直接失败。redeploy 后 IMAGE 列才会刷新为新名。


七、问题 6:纯离线环境,cephadm 到底能不能跑

7.1 出现的问题

断网(或防火墙只放行内网)后,部署新组件或 redeploy 时报镜像拉取失败;镜像明明都在本地 podman image ls 里。

7.2 问题的原因

cephadm 的设计是每个组件都按「镜像名」pull------启动、redeploy、健康检查都可能触发。没有 registry 时,即使镜像全在本地,名字对不上也会失败;而名字对得上的前提是有一套稳定的命名约定,这套约定要落到一个仓库上才可靠。

7.3 解决方法

纯离线部署的最低配置是三件套:

  1. 内网仓库 :Harbor 或 registry:2 容器均可,不需要外网,在任一内网主机上起一个;
  2. 镜像齐备 :部署前把 5 组镜像 push 进仓库,quay.io/... 与 hub.zhb.cloud/... 两套标签成对(只补不删);
  3. mirror 指向内网:Podman mirror 配置只保留一处(见问题 3),并完成两级验证。

这样 cephadm 所有按名字 pull 的动作都会落到内网仓库,部署路径与在线环境完全一致。


📚 参考资料(官方文档)

附:术语英文全称速查表

缩写/词 英文全称 含义
SAN Subject Alternative Name 证书主体备用名称(域名清单)
keyUsage Key Usage 证书密钥用法扩展
CSR Certificate Signing Request 证书签名请求
DER / CER Distinguished Encoding Rules 证书的二进制编码格式
HSTS HTTP Strict Transport Security 强制 HTTPS 传输安全策略
mirror mirror Podman 的镜像源改写规则
fsid File System ID Ceph 集群唯一标识

总结:这六个故障背后其实只有两句话------证书线上,服务端出示什么和客户端信任什么是两件独立的事 ,通配符证书 + Chrome 导入本地计算机受信任根,两端齐了告警才消失;镜像线上,cephadm 一切动作都按「镜像名」走,所以 mirror 只改地址不改名、quay.io 标签只补不删、IMAGE 列是固化字符串要 redeploy 才刷新、离线必须有仓库承载。遇到新故障时,先用 debug 拉一次看请求落点、用 openssl 看实际证书,这两个抓手能把大部分「看起来配了没生效」的问题十分钟内定位掉。

相关推荐
xbzb19 小时前
镜像推上云:华为云 SWR 与阿里云 ACR 的建组织、加速器、上传与公开
阿里云·华为云·云计算·镜像·acr·swr
xbzb2 天前
自建镜像仓库:registry 一条命令 + harbor 部署、授权、跨库同步与卸载
docker·harbor·镜像·仓库·同步·registry
JasonChen@6663 天前
ceph的rbd的快照管理-数据备份与恢复的基石(6)
ceph
xbzb4 天前
从零容器化部署 ECShop:Harbor 私有仓库 + 自定义 PHP 镜像 + LNMP 三容器
容器·php·harbor·镜像·仓库·ecshop
xbzb5 天前
镜像到底存在哪:/var/lib/docker 的四级映射与 daemon.json 配置
docker·容器·json·镜像·daemon.json·四级
xbzb6 天前
Docker 架构与部署:一条 docker run 到底走了三层
docker·容器·架构·镜像·加速·daemon
SAP_LO13 天前
STRUST导入证书
证书·sap·trust·imc
xianyuCcCcCCCcc18 天前
Kubernetes :健康检查、认证授权与可视化面板
运维·云原生·kubernetes·dashboard
xianyuCcCcCCCcc25 天前
Ceph 分布式存储:集群配置与存储池管理
运维·分布式·ceph