win docker clickhouse 挂载本地目录到容器后无法写入数据问题解决

win docker 部署clickhouse

挂载本地目录到容器后无法写入数据问题

具体错误提示代码

### 错误类型1
2024.04.17 14:07:36.146364 [ 687 ] {} <Error> void DB::SystemLog<DB::MetricLogElement>::flushImpl(const std::vector<LogElement> &, uint64_t) [LogElement = DB::MetricLogElement]: std::exception. Code: 1001, type: std::__1::__fs::filesystem::filesystem_error, e.what() = filesystem error: in rename: Permission denied ["/var/lib/clickhouse/store/aab/aabeb250-8346-4fe7-9324-43afb2acfdd9/tmp_insert_202404_12_12_0/"] ["/var/lib/clickhouse/store/aab/aabeb250-8346-4fe7-9324-43afb2acfdd9/202404_12_12_0/"], Stack trace (when copying this message, always include the lines below):

### 错误类型2
2024.04.17 23:45:25.431312 [ 686 ] {} <Error> void DB::SystemLog<DB::TraceLogElement>::flushImpl(const std::vector<LogElement> &, uint64_t) [LogElement = DB::TraceLogElement]: Code: 481. DB::ErrnoException: Cannot set modification time to file: /var/lib/clickhouse/store/903/903c5a1f-a517-476c-bbde-0a1820d67d99/tmp_insert_202404_5_5_0/: , errno: 1, strerror: Operation not permitted. (PATH_ACCESS_DENIED), Stack trace (when copying this message, always include the lines below):

大概都是说无法写文件或者修改文件

yaml 复制代码
services:
  clickhouse:
    image: clickhouse/clickhouse-server:23
    container_name: clickhouse
+   privileged: true
+   user: root
    ports:
      - 8123:8123
      - 9000:9000
    restart: always
    volumes:
      - ./log:/var/log/clickhouse-server:wr
      - ./conf:/etc/clickhouse-server
      - ./data:/var/lib/clickhouse:wr

尝试在docker compose 文件中添加文件操作的许可

privileged: true 修改用户的执行权限,添加user:root 都没能解决当前问题。

在容器内执行 df -ih 看到数据目录挂载的路径Inodes有异常,进一步跟踪Inodes问题

bash 复制代码
root@6b6ab9114480:/var/lib/clickhouse# df -ih
Filesystem     Inodes IUsed IFree IUse% Mounted on
overlay           64M  179K   64M    1% /
tmpfs            982K   189  982K    1% /dev
tmpfs            982K    16  982K    1% /sys/fs/cgroup
shm              982K     1  982K    1% /dev/shm
C:\               999 -976K  977K     - /var/lib/clickhouse
/dev/sdd          64M  179K   64M    1% /etc/hosts

进一步在docker compose 中配置 ulimits参数如下

重启还是没能解决

yaml 复制代码
+   ulimits:
+   nproc: 65535
+     nofile:
+       soft: 65535
+       hard: 65535

修改映射的本地目录到d盘

也没能解决

最后使用docker的数据卷来映射到容器内部目录,解决了不能读写的问题。

具体compose如下:

yaml 复制代码
volumes:
  data:

services:
  clickhouse:
    image: clickhouse/clickhouse-server:23
    container_name: clickhouse
    privileged: true
    ports:
      - 8123:8123
      - 9000:9000
    restart: always
    volumes:
      - ./log:/var/log/clickhouse-server:wr
      - ./conf:/etc/clickhouse-server
      - data:/var/lib/clickhouse:wr

docker的数据卷只在docker环境下管理,在本地路径中找不到,可以通过下面命令查看具体数据

bash 复制代码
docker volume ls
docker volume inspect data

总结

在win下docker的 绑定挂载(bind mount)模式可以将宿主机上的特定目录映射到容器内的指定目录,但是不能支持有大量文件创建的目录绑定,会有inode不够导致数据无法写入的问题,即便是权限、空间都满足,但硬盘格式不匹配,导致inode信息不匹配。

如果映射的目录有大量文件的创建删除,需要使用docker自己创建的数据卷来作为数据挂载目录,用来解决inode问题。

参考链接

  1. 在 WSL 2 中装载 Linux 磁盘
  2. docker 容器数据卷使用(三种挂载方式)
相关推荐
怡雪~1 分钟前
Kubernetes使用Ceph存储
ceph·容器·kubernetes
一勺菠萝丶2 小时前
MongoDB 常用操作指南(Docker 环境下)
数据库·mongodb·docker
Mitch3112 小时前
【漏洞复现】CVE-2015-3337 Arbitrary File Reading
elasticsearch·网络安全·docker·漏洞复现
Mitch3112 小时前
【漏洞复现】CVE-2015-5531 Arbitrary File Reading
web安全·elasticsearch·网络安全·docker·漏洞复现
我自飞扬临天下4 小时前
Docker常用命令
docker
码农土豆6 小时前
PaddlePaddle飞桨Linux系统Docker版安装
linux·docker·paddlepaddle
明 庭16 小时前
Ubuntu下通过Docker部署NGINX服务器
服务器·ubuntu·docker
dessler17 小时前
Docker-run命令详细讲解
linux·运维·后端·docker
aherhuo18 小时前
kubevirt网络
linux·云原生·容器·kubernetes
陌北v118 小时前
Docker Compose 配置指南
运维·docker·容器·docker-compose