win docker clickhouse 挂载本地目录到容器后无法写入数据问题解决

win docker 部署clickhouse

挂载本地目录到容器后无法写入数据问题

具体错误提示代码

复制代码
### 错误类型1
2024.04.17 14:07:36.146364 [ 687 ] {} <Error> void DB::SystemLog<DB::MetricLogElement>::flushImpl(const std::vector<LogElement> &, uint64_t) [LogElement = DB::MetricLogElement]: std::exception. Code: 1001, type: std::__1::__fs::filesystem::filesystem_error, e.what() = filesystem error: in rename: Permission denied ["/var/lib/clickhouse/store/aab/aabeb250-8346-4fe7-9324-43afb2acfdd9/tmp_insert_202404_12_12_0/"] ["/var/lib/clickhouse/store/aab/aabeb250-8346-4fe7-9324-43afb2acfdd9/202404_12_12_0/"], Stack trace (when copying this message, always include the lines below):

### 错误类型2
2024.04.17 23:45:25.431312 [ 686 ] {} <Error> void DB::SystemLog<DB::TraceLogElement>::flushImpl(const std::vector<LogElement> &, uint64_t) [LogElement = DB::TraceLogElement]: Code: 481. DB::ErrnoException: Cannot set modification time to file: /var/lib/clickhouse/store/903/903c5a1f-a517-476c-bbde-0a1820d67d99/tmp_insert_202404_5_5_0/: , errno: 1, strerror: Operation not permitted. (PATH_ACCESS_DENIED), Stack trace (when copying this message, always include the lines below):

大概都是说无法写文件或者修改文件

yaml 复制代码
services:
  clickhouse:
    image: clickhouse/clickhouse-server:23
    container_name: clickhouse
+   privileged: true
+   user: root
    ports:
      - 8123:8123
      - 9000:9000
    restart: always
    volumes:
      - ./log:/var/log/clickhouse-server:wr
      - ./conf:/etc/clickhouse-server
      - ./data:/var/lib/clickhouse:wr

尝试在docker compose 文件中添加文件操作的许可

privileged: true 修改用户的执行权限,添加user:root 都没能解决当前问题。

在容器内执行 df -ih 看到数据目录挂载的路径Inodes有异常,进一步跟踪Inodes问题

bash 复制代码
root@6b6ab9114480:/var/lib/clickhouse# df -ih
Filesystem     Inodes IUsed IFree IUse% Mounted on
overlay           64M  179K   64M    1% /
tmpfs            982K   189  982K    1% /dev
tmpfs            982K    16  982K    1% /sys/fs/cgroup
shm              982K     1  982K    1% /dev/shm
C:\               999 -976K  977K     - /var/lib/clickhouse
/dev/sdd          64M  179K   64M    1% /etc/hosts

进一步在docker compose 中配置 ulimits参数如下

重启还是没能解决

yaml 复制代码
+   ulimits:
+   nproc: 65535
+     nofile:
+       soft: 65535
+       hard: 65535

修改映射的本地目录到d盘

也没能解决

最后使用docker的数据卷来映射到容器内部目录,解决了不能读写的问题。

具体compose如下:

yaml 复制代码
volumes:
  data:

services:
  clickhouse:
    image: clickhouse/clickhouse-server:23
    container_name: clickhouse
    privileged: true
    ports:
      - 8123:8123
      - 9000:9000
    restart: always
    volumes:
      - ./log:/var/log/clickhouse-server:wr
      - ./conf:/etc/clickhouse-server
      - data:/var/lib/clickhouse:wr

docker的数据卷只在docker环境下管理,在本地路径中找不到,可以通过下面命令查看具体数据

bash 复制代码
docker volume ls
docker volume inspect data

总结

在win下docker的 绑定挂载(bind mount)模式可以将宿主机上的特定目录映射到容器内的指定目录,但是不能支持有大量文件创建的目录绑定,会有inode不够导致数据无法写入的问题,即便是权限、空间都满足,但硬盘格式不匹配,导致inode信息不匹配。

如果映射的目录有大量文件的创建删除,需要使用docker自己创建的数据卷来作为数据挂载目录,用来解决inode问题。

参考链接

  1. 在 WSL 2 中装载 Linux 磁盘
  2. docker 容器数据卷使用(三种挂载方式)
相关推荐
GreenMountainEcho4 小时前
Kubernetes 入门篇之 Node 安装与部署
云原生·容器·kubernetes
zyk_5206 小时前
Docker desktop如何汉化
运维·docker·容器
韭菜盖饭6 小时前
解决Docker端口映射后外网无法访问的问题
运维·docker·容器
jingjingjing11116 小时前
笔记:docker安装(ubuntu 20.04)
笔记·docker·容器
qq_339282237 小时前
docker之network
运维·docker·容器
alden_ygq7 小时前
k8s statefulset pod重启顺序
云原生·容器·kubernetes
愿你天黑有灯下雨有伞9 小时前
Docker 安装 Elasticsearch 教程
运维·elasticsearch·docker
@郭小茶10 小时前
windows部署docker
windows·docker·容器
云上艺旅10 小时前
K8S学习之基础七十二:Ingress基于Https代理pod
学习·云原生·容器·https·kubernetes
XAL110 小时前
Docker的备份与恢复
运维·docker·容器