cephadm 部署 Ceph 集群,命令本身只有一条 bootstrap,真正耗时间的是部署路上那几类「意料之外」:浏览器访问 Dashboard 满屏证书告警、mirror 配了却不生效、prometheus 容器反复退出、
podman ps里 IMAGE 列显示旧域名......这篇把六个真实踩过的故障按「出现的问题 → 问题的原因 → 解决方法」逐一复盘,环境为 Rocky 8 + cephadm + Ceph Pacific + Harbor 私有仓库hub.zhb.cloud,每条都给验证命令。
本文概要:
| 项目 | 内容 |
|---|---|
| 文章主题 | Ceph Dashboard 证书告警与镜像加速故障的定位与解决 |
| 所属类别 | 分布式存储 / 运维排错 |
| 关键字 | 自签名证书、通配符证书、Chrome 证书信任、Podman mirror、Harbor、cephadm |
主线分两组:证书线 (问题 1、2)解决「浏览器访问 Dashboard 的 HTTPS 告警」,从服务端换通配符证书到客户端 Chrome 导入受信任根;镜像线(问题 3~6)解决「离线环境下镜像拉取与显示」的四个坑。部署步骤本身见部署篇,这里只谈故障。

一、故障总览
| 编号 | 问题 | 一句话根因 |
|---|---|---|
| 问题 1 | 浏览器访问 Dashboard 报「您的连接不是私密连接」 | bootstrap 默认自签证书:单域名、不在任何受信任存储 |
| 问题 2 | 服务端换了证书,浏览器仍拦截 / 报 ERRSSL KEYUSAGEINCOMPATIBLE | 客户端没有信任锚;keyUsage 缺 DigitalSignature;存储位置选错;缓存残留 |
| 问题 3 | mirror 配置了,pull 却仍直连 quay.io | 用户级 registries.conf 整体覆盖系统级规则 |
| 问题 4 | prometheus 容器反复退出,其余组件正常 | 本机缺 quay.io 名字的镜像别名,cephadm 按名 pull 失败 |
| 问题 5 | 镜像换名后 podman ps 的 IMAGE 列仍显示旧域名 |
IMAGE 列是容器创建时固化的静态字符串 |
| 问题 6 | 纯离线环境 pull 失败 | cephadm 按镜像名 pull,必须有仓库承载 |
二、问题 1:浏览器访问 Dashboard 报「您的连接不是私密连接」
2.1 出现的问题
bootstrap 完成后,浏览器访问 https://ceph1.zhb.cloud:8443/,直接落在证书告警页,每次都要手动点「高级 → 接受风险并继续」才能进登录页:

Chrome 侧的典型报错是 NET::ERR_CERT_AUTHORITY_INVALID(含义:证书颁发机构无效)。
2.2 问题的原因
bootstrap 在部署 Dashboard 模块时自动生成了一张默认自签证书 (输出里有对应一行:Generating a dashboard self-signed certificate...),它有三个特征,凑齐了必然被浏览器拦:
- 只有一个名字 :证书只含引导节点的主机名(
ceph1.zhb.cloud),不含通配符,也不含裸域名------换个名字访问就是证书不匹配。 - 不在任何受信任存储里:证书由 Ceph 自己随机生成签发,Windows / 浏览器的受信任根证书颁发机构里根本没有它的签发者,证书链从第一环就断。
- HTTPS 强制校验:8443 是 SSL 端口,浏览器对 HTTPS 站点强制校验证书链,找不到信任锚就拦截,没有「仅此一次」的豁免。
另外埋一个伏笔:现代浏览器(Chrome / Edge 115+)对自签证书还校验 keyUsage 扩展,即使把证书导入受信任区,缺 DigitalSignature 仍会被拦------这正是问题 2 的根源之一,下面的生成脚本会提前规避。
2.3 解决方法
思路:生成一张符合浏览器要求的 *.zhb.cloud 通配符自签证书(同时覆盖裸域名),导入 Ceph Dashboard 替换默认证书。适用环境:cephadm 部署的 Ceph v16+,Dashboard HTTPS 默认端口 8443。
第 1 步:生成通配符证书。 保存为 /root/gen-wildcard-cert.sh:
bash
#!/usr/bin/env bash
set -euo pipefail
# ================= 只需修改这里 =================
DOMAIN="zhb.cloud"
# ===============================================
CERT_DIR="/root/ceph-dashboard-certs"
DAYS=825
KEY_BITS=2048
mkdir -p "${CERT_DIR}"
cd "${CERT_DIR}"
CNF="${DOMAIN}.cnf"
KEY="${DOMAIN}.key"
CSR="${DOMAIN}.csr"
CRT="${DOMAIN}.crt"
cat > "${CNF}" <<EOF
[ req ]
default_bits = ${KEY_BITS}
prompt = no
default_md = sha256
distinguished_name = dn
req_extensions = v3_req
[ dn ]
CN = *.${DOMAIN}
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = critical, digitalSignature, keyEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names
[ alt_names ]
DNS.1 = ${DOMAIN}
DNS.2 = *.${DOMAIN}
EOF
openssl genrsa -out "${KEY}" "${KEY_BITS}"
chmod 600 "${KEY}"
openssl req -new -key "${KEY}" -out "${CSR}" -config "${CNF}"
# 签发阶段必须再次引用 -extfile 和 -extensions,否则扩展不会写入最终证书
openssl x509 -req -in "${CSR}" \
-signkey "${KEY}" \
-out "${CRT}" \
-days "${DAYS}" -sha256 \
-extfile "${CNF}" -extensions v3_req
echo "===== Key Usage ====="
openssl x509 -in "${CRT}" -noout -text | grep -A1 "Key Usage"
echo
echo "===== Subject Alternative Name ====="
openssl x509 -in "${CRT}" -noout -text | grep -A3 "Subject Alternative Name"
echo
echo "证书: ${CRT}"
echo "私钥: ${KEY}"
执行并确认输出里有两段关键内容:
bash
[root@ceph1 ~]# chmod +x /root/gen-wildcard-cert.sh
[root@ceph1 ~]# /root/gen-wildcard-cert.sh
text
X509v3 Key Usage: critical
Digital Signature, Key Encipherment
......
X509v3 Subject Alternative Name:
DNS:zhb.cloud, DNS:*.zhb.cloud
只要 Digital Signature 和 DNS:\*.zhb.cloud 都在,证书本身就满足后续 Ceph 使用和浏览器信任的基础条件。
第 2 步:导入 Ceph Dashboard。 使用不带主机名参数的全局方式导入,证书会写入 mgr/dashboard/crt 和 mgr/dashboard/key,对所有 mgr 实例生效:
bash
[root@ceph1 ~]# ceph dashboard set-ssl-certificate -i /root/ceph-dashboard-certs/zhb.cloud.crt
[root@ceph1 ~]# ceph dashboard set-ssl-certificate-key -i /root/ceph-dashboard-certs/zhb.cloud.key
第 3 步:重启 mgr 并验证 Ceph 侧实际返回的证书。 等待约 30--60 秒让 mgr 重新选主并加载 Dashboard 模块:
bash
[root@ceph1 ~]# ceph orch restart mgr
[root@ceph1 ~]# echo | openssl s_client -connect ceph1.zhb.cloud:8443 -servername ceph1.zhb.cloud 2>/dev/null \
| openssl x509 -noout -subject -issuer -dates -ext subjectAltName
预期 SAN 中包含 DNS:zhb.cloud, DNS:*.zhb.cloud。如果 issuer 仍是 Ceph 默认自签证书,检查是否存在按主机的证书覆盖:
bash
[root@ceph1 ~]# ceph config-key ls | grep dashboard
# 如有 mgr/dashboard/<HOSTNAME>/crt 等按主机键,删除对应键后再次执行 ceph orch restart mgr
到这里服务端就绪。浏览器还拦不拦,取决于客户端是否信任这张证书------见问题 2。
三、问题 2:服务端换了证书,浏览器仍拦截
3.1 出现的问题
按问题 1 换好证书、ceph orch restart mgr 之后,浏览器访问 https://ceph1.zhb.cloud:8443/ 仍然出现拦截页;或者换了另一种报错:
ERR_SSL_KEY_USAGE_INCOMPATIBLE(含义:证书密钥用法不兼容);NET::ERR_CERT_INVALID(含义:证书无效);- 或者导入了证书,但在「受信任的根证书颁发机构」列表里根本找不到。
3.2 问题的原因
按命中概率排四类:
- 客户端没有信任锚 :
set-ssl-certificate只解决「服务端出示哪张证书」,浏览器这头还要把这张证书放进自己的受信任根存储,两端齐备告警才消失。只做服务端,等于换了张浏览器照样不认识的证书。 - keyUsage 缺 DigitalSignature :Chrome / Edge 115+ 对「本地信任锚签发的 RSA 证书」强制要求 keyUsage 含 DigitalSignature,缺了就报
ERR_SSL_KEY_USAGE_INCOMPATIBLE。很多老教程的 openssl 命令不带-extfile,扩展根本没写进证书。 - 导入存储位置选错:Windows 证书对话框默认导到「当前用户」存储,而浏览器校验时走的是「本地计算机」的受信任根------导错位置等于没导。
- 缓存残留:HSTS 策略、未退干净的后台浏览器进程,都会让「明明已经修好」的站点继续报旧状态。
3.3 解决方法
第 1 步:从网页导出浏览器实际收到的证书。 关键原则:必须从网页下载浏览器实际验证的那张证书 ,而不是直接把服务器上的 .crt 文件拷到 Windows------两者在证书链异常时可能不一致。在 Windows 客户端用 Chrome 访问 https://ceph1.zhb.cloud:8443/,出现告警页后:
- 点击地址栏左侧的「不安全」或「证书(无效)」提示;
- 打开站点信息面板,点击「连接不安全」;
- 打开证书查看器,切换到「详细信息」选项卡;
- 点击「导出」,选择 DER 编码二进制 X.509(.CER) 或 Base64 编码 X.509(.CER);
- 保存为
C:\certs\ceph-dashboard.cer。
第 2 步:在 Chrome 设置中导入到「受信任的根证书颁发机构」。 Chrome 的证书管理界面实际调用 Windows 证书存储,必须导入到受信任的根、且存储位置选「本地计算机」:

导入完成后,在「受信任的根证书颁发机构 → 证书」列表中应能看到该证书。
第 3 步:彻底重启浏览器并验证。 仅关闭窗口不够,必须清理后台进程:
- 按
Ctrl + Shift + Esc打开任务管理器; - 找到所有
chrome.exe进程(Edge 场景则是msedge.exe); - 逐个右键 →「结束任务」,确保列表中不再有残留进程。
重新打开 Chrome 访问 https://ceph1.zhb.cloud:8443/,预期不再出现证书拦截页面。点击地址栏锁形图标 →「连接已安全」→「证书」,确认颁发者与自签证书一致、证书路径位于「受信任的根证书颁发机构」之下。
第 4 步:仍报错时的三个补充手段。
手段一,清理 HSTS 残留:
text
chrome://net-internals/#hsts
在「Delete domain security policies」中输入 zhb.cloud,勾选「Include sub-domains」,点击 Delete。
手段二,关闭浏览器对本地信任锚的 RSA 密钥用法策略(证书确认无误但仍报 ERR_SSL_KEY_USAGE_INCOMPATIBLE 时)。Chrome 与 Edge 都是 Chromium 内核,策略位置分别在:
text
HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Chrome (Chrome)
HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Edge (Edge)
新建 DWORD (32 位):RSAKeyUsageForLocalAnchorsEnabled,数值数据 0,然后彻底结束所有浏览器进程并重新打开。
手段三,用裸域名 zhb.cloud 访问仍报不匹配时,检查证书 SAN 是否同时包含 zhb.cloud 和 *.zhb.cloud:
bash
[root@ceph1 ~]# openssl x509 -in /root/ceph-dashboard-certs/zhb.cloud.crt -noout -text | grep -A3 "Subject Alternative Name"
缺失就回到问题 1 的脚本重新生成、重新导入两端。
3.4 全流程速查表
| 阶段 | 操作位置 | 关键动作 |
|---|---|---|
| 生成证书 | Linux 服务器 | 运行脚本 DOMAIN="zhb.cloud",确认 keyUsage 含 Digital Signature,SAN 含 zhb.cloud 和 *.zhb.cloud |
| 导入 Ceph | Linux 服务器 | ceph dashboard set-ssl-certificate / -key,然后 ceph orch restart mgr |
| 验证 Ceph | Linux 服务器 | openssl s_client -connect ceph1.zhb.cloud:8443 确认 SAN 正确 |
| 下载证书 | Windows Chrome | 访问 Dashboard →「不安全」→ 证书查看器 → 详细信息 → 导出 .cer |
| 打开证书管理 | Chrome | chrome://settings/privacy → 管理证书 |
| 导入 Root | Windows 证书对话框 | 「受信任的根证书颁发机构」→ 导入 → 本地计算机 → 选择 .cer |
| 刷新缓存 | 任务管理器 | 结束所有 chrome.exe |
| 验证 | Chrome | 锁形图标 → 证书 → 路径来自「受信任的根证书颁发机构」 |
| 仍报错 | 浏览器 / 注册表 | 清理 HSTS;必要时设置 RSAKeyUsageForLocalAnchorsEnabled=0 并彻底重启浏览器 |
四、问题 3:mirror 配置了,pull 却仍直连 quay.io
4.1 出现的问题
/etc/containers/registries.conf.d/ 下明明配好了 mirror,podman pull quay.io/... 却还是连公网------开 debug 一看,请求落点是 GET https://quay.io/v2/ 而不是内网仓库。
4.2 问题的原因
Podman 的镜像源配置存在两处,且不是叠加关系:
- 用户级:
~/.config/containers/registries.conf(root 即/root/.config/containers/registries.conf); - 系统级:
/etc/containers/registries.conf.d/*.conf。
用户级文件存在时会整体覆盖系统级规则------系统级里配的 mirror 全部失效,pull 就悄悄直连 quay.io。它不报错、不告警,配置看起来都在,这是这个问题最隐蔽的地方。
4.3 解决方法
两处只保留一处:要么把 mirror 写进用户级文件,要么删掉用户级文件只留系统级。然后做两级验证:
bash
# 验证 1:带认证查私有仓库的镜像列表(_catalog 接口需要登录,匿名访问返回 UNAUTHORIZED)
# 密码含 # 等特殊字符时建议加引号,避免 shell 误解析
[root@ceph1 ~]# curl -s -u 'admin:Zhb@123#' http://hub.zhb.cloud/v2/_catalog
{"repositories":["ceph/ceph","ceph/ceph-grafana","prometheus/prometheus","prometheus/alertmanager","prometheus/node-exporter"]}
# 验证 2:实际 pull 一次,看请求落点
[root@ceph1 ~]# podman pull --log-level=debug quay.io/ceph/ceph:v16 2>&1 | grep -i "GET https"
DEBU GET https://hub.zhb.cloud/v2/
DEBU GET https://hub.zhb.cloud/v2/ceph/ceph/manifests/v16
注意别把认证报错误判成仓库故障:Harbor 的 /v2/_catalog 是认证接口 ,匿名 curl 只会得到 {"errors":[{"code":"UNAUTHORIZED",...}]}------这正常,仓库没坏。不带凭证时验证 1 必然失败,所以要么带 -u 用户:密码 再查,要么直接用验证 2 的 debug 日志看请求落点。
看到 GET https://hub.zhb.cloud/... 才算配好。整条链路的走向:

五、问题 4:prometheus 容器反复退出,其余组件正常
5.1 出现的问题
集群里 mon/mgr/osd/grafana 全部正常,唯独 prometheus 的容器 STATUS 是 Exited,反复重启仍起不来。
5.2 问题的原因
查容器日志定位到镜像拉取失败:本机缺少 quay.io/prometheus/prometheus:v2.33.4 这个「名字」的镜像。这里有个反直觉的点------cephadm 按配置里的镜像名 pull,本地镜像库里哪怕镜像本体一字不差地存在,只要名字(仓库路径 + tag)对不上任何一个本地标签,它照样去仓库拉,离线环境直接失败。
5.3 解决方法
给镜像补别名而不是删旧名------quay.io 的标签保留、只补不删:
bash
# 找到镜像 ID
[root@ceph1 ~]# podman image ls | grep prometheus
# 同一 IMAGE ID 补一个 quay.io 名(tag 操作不产生新数据)
[root@ceph1 ~]# podman tag <IMAGE_ID> quay.io/prometheus/prometheus:v2.33.4
# 重启该 daemon
[root@ceph1 ~]# ceph orch daemon restart prometheus.ceph1
quay.io 名与 hub.zhb.cloud 名共用同一 IMAGE ID,不占额外空间。保留 quay.io 别名还有一个理由:cephadm 的默认镜像名就是它 ,任何未显式配置的组件都按这个名字 pull,删掉等于重新制造故障。健康的做法是让 5 组镜像的 quay.io/... 与 hub.zhb.cloud/... 标签成对齐全、ID 相同(镜像清单见部署篇 2.4 节)。
六、问题 5:镜像换名后,podman ps 的 IMAGE 列仍显示旧域名
6.1 出现的问题
镜像已经换成 hub.zhb.cloud 的名字、集群配置也已指向新名,但 podman ps 里容器的 IMAGE 列还显示迁移前的旧仓库名(或 quay.io/...),看着像「配置没生效」。
6.2 问题的原因
这不是配置问题------podman ps 的 IMAGE 列是容器创建时固化的静态字符串,容器不重建,这一列就永远显示创建那一刻的名字,之后镜像怎么改名、配置怎么换都不影响显示。
6.3 解决方法
确认集群配置里的镜像名已换成新域名后,redeploy 容器让引用刷新:
bash
[root@ceph1 ~]# ceph orch daemon redeploy prometheus.ceph1
[root@ceph1 ~]# podman ps --format "{{.Names}}\t{{.Image}}"
顺序有讲究:先改配置、再 redeploy。反过来做的话,redeploy 会按旧镜像名 pull,离线环境直接失败。redeploy 后 IMAGE 列才会刷新为新名。
七、问题 6:纯离线环境,cephadm 到底能不能跑
7.1 出现的问题
断网(或防火墙只放行内网)后,部署新组件或 redeploy 时报镜像拉取失败;镜像明明都在本地 podman image ls 里。
7.2 问题的原因
cephadm 的设计是每个组件都按「镜像名」pull------启动、redeploy、健康检查都可能触发。没有 registry 时,即使镜像全在本地,名字对不上也会失败;而名字对得上的前提是有一套稳定的命名约定,这套约定要落到一个仓库上才可靠。
7.3 解决方法
纯离线部署的最低配置是三件套:
- 内网仓库 :Harbor 或
registry:2容器均可,不需要外网,在任一内网主机上起一个; - 镜像齐备 :部署前把 5 组镜像 push 进仓库,
quay.io/...与hub.zhb.cloud/...两套标签成对(只补不删); - mirror 指向内网:Podman mirror 配置只保留一处(见问题 3),并完成两级验证。
这样 cephadm 所有按名字 pull 的动作都会落到内网仓库,部署路径与在线环境完全一致。
📚 参考资料(官方文档)
- Ceph Dashboard 文档(Pacific)
- cephadm 部署文档(Pacific)
- Podman pull 与镜像源配置
- Chromium 策略:RSAKeyUsageForLocalAnchorsEnabled
附:术语英文全称速查表
| 缩写/词 | 英文全称 | 含义 |
|---|---|---|
| SAN | Subject Alternative Name | 证书主体备用名称(域名清单) |
| keyUsage | Key Usage | 证书密钥用法扩展 |
| CSR | Certificate Signing Request | 证书签名请求 |
| DER / CER | Distinguished Encoding Rules | 证书的二进制编码格式 |
| HSTS | HTTP Strict Transport Security | 强制 HTTPS 传输安全策略 |
| mirror | mirror | Podman 的镜像源改写规则 |
| fsid | File System ID | Ceph 集群唯一标识 |
总结:这六个故障背后其实只有两句话------证书线上,服务端出示什么和客户端信任什么是两件独立的事 ,通配符证书 + Chrome 导入本地计算机受信任根,两端齐了告警才消失;镜像线上,cephadm 一切动作都按「镜像名」走,所以 mirror 只改地址不改名、quay.io 标签只补不删、IMAGE 列是固化字符串要 redeploy 才刷新、离线必须有仓库承载。遇到新故障时,先用 debug 拉一次看请求落点、用 openssl 看实际证书,这两个抓手能把大部分「看起来配了没生效」的问题十分钟内定位掉。