win docker clickhouse 挂载本地目录到容器后无法写入数据问题解决

win docker 部署clickhouse

挂载本地目录到容器后无法写入数据问题

具体错误提示代码

复制代码
### 错误类型1
2024.04.17 14:07:36.146364 [ 687 ] {} <Error> void DB::SystemLog<DB::MetricLogElement>::flushImpl(const std::vector<LogElement> &, uint64_t) [LogElement = DB::MetricLogElement]: std::exception. Code: 1001, type: std::__1::__fs::filesystem::filesystem_error, e.what() = filesystem error: in rename: Permission denied ["/var/lib/clickhouse/store/aab/aabeb250-8346-4fe7-9324-43afb2acfdd9/tmp_insert_202404_12_12_0/"] ["/var/lib/clickhouse/store/aab/aabeb250-8346-4fe7-9324-43afb2acfdd9/202404_12_12_0/"], Stack trace (when copying this message, always include the lines below):

### 错误类型2
2024.04.17 23:45:25.431312 [ 686 ] {} <Error> void DB::SystemLog<DB::TraceLogElement>::flushImpl(const std::vector<LogElement> &, uint64_t) [LogElement = DB::TraceLogElement]: Code: 481. DB::ErrnoException: Cannot set modification time to file: /var/lib/clickhouse/store/903/903c5a1f-a517-476c-bbde-0a1820d67d99/tmp_insert_202404_5_5_0/: , errno: 1, strerror: Operation not permitted. (PATH_ACCESS_DENIED), Stack trace (when copying this message, always include the lines below):

大概都是说无法写文件或者修改文件

yaml 复制代码
services:
  clickhouse:
    image: clickhouse/clickhouse-server:23
    container_name: clickhouse
+   privileged: true
+   user: root
    ports:
      - 8123:8123
      - 9000:9000
    restart: always
    volumes:
      - ./log:/var/log/clickhouse-server:wr
      - ./conf:/etc/clickhouse-server
      - ./data:/var/lib/clickhouse:wr

尝试在docker compose 文件中添加文件操作的许可

privileged: true 修改用户的执行权限,添加user:root 都没能解决当前问题。

在容器内执行 df -ih 看到数据目录挂载的路径Inodes有异常,进一步跟踪Inodes问题

bash 复制代码
root@6b6ab9114480:/var/lib/clickhouse# df -ih
Filesystem     Inodes IUsed IFree IUse% Mounted on
overlay           64M  179K   64M    1% /
tmpfs            982K   189  982K    1% /dev
tmpfs            982K    16  982K    1% /sys/fs/cgroup
shm              982K     1  982K    1% /dev/shm
C:\               999 -976K  977K     - /var/lib/clickhouse
/dev/sdd          64M  179K   64M    1% /etc/hosts

进一步在docker compose 中配置 ulimits参数如下

重启还是没能解决

yaml 复制代码
+   ulimits:
+   nproc: 65535
+     nofile:
+       soft: 65535
+       hard: 65535

修改映射的本地目录到d盘

也没能解决

最后使用docker的数据卷来映射到容器内部目录,解决了不能读写的问题。

具体compose如下:

yaml 复制代码
volumes:
  data:

services:
  clickhouse:
    image: clickhouse/clickhouse-server:23
    container_name: clickhouse
    privileged: true
    ports:
      - 8123:8123
      - 9000:9000
    restart: always
    volumes:
      - ./log:/var/log/clickhouse-server:wr
      - ./conf:/etc/clickhouse-server
      - data:/var/lib/clickhouse:wr

docker的数据卷只在docker环境下管理,在本地路径中找不到,可以通过下面命令查看具体数据

bash 复制代码
docker volume ls
docker volume inspect data

总结

在win下docker的 绑定挂载(bind mount)模式可以将宿主机上的特定目录映射到容器内的指定目录,但是不能支持有大量文件创建的目录绑定,会有inode不够导致数据无法写入的问题,即便是权限、空间都满足,但硬盘格式不匹配,导致inode信息不匹配。

如果映射的目录有大量文件的创建删除,需要使用docker自己创建的数据卷来作为数据挂载目录,用来解决inode问题。

参考链接

  1. 在 WSL 2 中装载 Linux 磁盘
  2. docker 容器数据卷使用(三种挂载方式)
相关推荐
Anarkh_Lee3 小时前
Neo4j在win下安装教程(docker环境)
docker·容器·neo4j
正经教主4 小时前
【问题】解决docker的方式安装n8n,找不到docker.n8n.io/n8nio/n8n:latest镜像的问题
运维·docker·容器·n8n
zhoupenghui1685 小时前
ClickHouse进行LEFT JOIN 关联查询时, 关联键的数据类型不一致,导致报错 的解决方案详解
clickhouse·left join·uint64·int64
joker_zsl6 小时前
docker的安装和简单使用(ubuntu环境)
运维·docker·容器
啥都想学的又啥都不会的研究生6 小时前
Kubernetes in action-初相识
java·docker·微服务·容器·kubernetes·etcd·kubelet
赵我说的做_life8 小时前
基于Docker的Flask项目部署完整指南
docker·容器·flask
江畔独步9 小时前
docker容器监控&自动恢复
docker·容器·eureka
iangyu9 小时前
centos7部署k8s集群
云原生·容器·kubernetes
时迁24711 小时前
【k8s】k8s是怎么实现自动扩缩的
云原生·容器·kubernetes·k8s
诡异森林。14 小时前
Docker--Docker网络原理
网络·docker·容器