故障处理--kuboard无法访问,etcd磁盘空间不足

问题现象:

kuboard页面报错

排查过程:

1、查看kuboard是否正常。

2、查看kuboard容器的日志:

powershell 复制代码
docker logs -f  --tail=10  kuboard
大概内容如下:
level=error msg="failed to rotate keys: etcdserver: mvcc: database space exceeded"

表示etcd磁盘空间不足,etcd默认的空间配额限制为2G,超出空间配额限制就会影响服务,需要定期清理。

3、查看etcd的启动配置entrypoint.sh,发现没有设置etcd磁盘大小,默认为2G

处理过程:

1、查看kuboard信息,找到kuboard-data的位置

2、查看etcd-data大小。发现db大于2G

3、进入容器内部,查看告警信息。alarm:nospace,也表示空间不足

4、查看etcd告警

powershell 复制代码
[root@master1 etcd-data]# docker exec -it kuboard /bin/sh
# ETCDCTL_API=3 etcdctl --endpoints="http://127.0.0.1:2379" alarm list
memberID:6460912315094810421 alarm:NOSPACE 

5、按照如下步骤临时处理

powershell 复制代码
# 备份db
etcdctl snapshot save backup.db
# 查看当前版本
rev=$(ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 endpoint status --write-out="json" | egrep -o '"revision":[0-9]*' | egrep -o '[0-9].*')
# 压缩旧版本
ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 compact $rev
# 整理多余的空间
ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 defrag
# 取消告警信息(之前有nospace的告警)
ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 alarm disarm
# 再次查看etcd的状态(发现ERROR字段已为空)
ETCDCTL_API=3 etcdctl --endpoints="http://127.0.0.1:2379" --write-out=table endpoint status

整理多余的空间时有如下报错

错误原因

etcdctl 的默认命令超时为 5 秒,但碎片整理花费的时间比这更长。

解决方案

指定超时时间 --command-timeout

powershell 复制代码
# 整理多余的空间
# ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 --command-timeout=30s defrag
Finished defragmenting etcd member[http://127.0.0.1:2379]
# 取消告警信息,不取消告警,ectd一样不可用
# ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 alarm disarm
memberID:6460912315094810421 alarm:NOSPACE 
# 再次查看ETCD存储使用情况
# ETCDCTL_API=3 etcdctl --endpoints="http://127.0.0.1:2379" --write-out=table endpoint status

故障解决:

再次查看etcd-data文件大小

相关推荐
麦兜*11 小时前
MongoDB 备份与恢复终极指南:mongodump 和 mongorestore 深度实战
java·数据库·spring boot·mongodb·spring
xhbh66612 小时前
MySQL数据导出避坑指南:如何选择正确的工具并设计安全的备份策略?
数据库·mysql·oracle·程序员·mysql导出数据库
幻奏岚音12 小时前
《数据库系统概论》第一章 初识数据库
数据库·算法·oracle
蜗牛~turbo12 小时前
金蝶云星空 调价表取历史价格
java·数据库·sql·c#·database
jc062012 小时前
4.1-中间件之Redis
数据库·redis·中间件
Elastic 中国社区官方博客12 小时前
介绍 Python Elasticsearch Client 的 ES|QL 查询构建器
大数据·开发语言·数据库·python·elasticsearch·搜索引擎·全文检索
TG_yunshuguoji13 小时前
阿里云国际代理:云数据库RDS及上云方案
服务器·数据库·阿里云·云计算
FOLLOW ME31113 小时前
MySQL集群高可用架构
数据库·mysql·架构
TG_yunshuguoji13 小时前
阿里云国际代理:稳定、高效、便捷的数据库服务-云数据库RDS
运维·服务器·数据库·阿里云·云计算
danns88813 小时前
neo4j数据库创建范例(SQL文)
数据库·sql·neo4j