Docker 的数据管理

前置资源

Docker的数据管理资源.zip资源-CSDN文库

一、容器中数据管理

管理 Docker 容器中数据主要有两种方式:数据卷 (Data Volumes)和数据卷容器 (DataVolumes Containers)。

1.数据卷

数据卷是一个供容器使用的特殊目录,同时数据卷是宿主机中的一个特殊目录(共享)

在容器中,可将宿主机的目录挂载到数据卷上,对数据卷的修改操作立刻可见,并且更新数据不会影响镜像,从而实现数据在宿主机与容器之间的迁移。数据卷的使用类似于 Linux 下对目录进行的 mount 操作。

宿主机目录/var/www 挂载到容器中的/data1。

注意:宿主机本地目录的路径必须是使用绝对路径。如果路径不存在,Docker会自动创建相应的路径。

docker pull centos:7

-v 选项可以在容器内创建数据卷

docker run -v /var/www:/data1 --name web1 -it centos:7 /bin/bash

ls

echo "this is web1" > /data1/abc.txt

exit

返回宿主机进行查看

cat /var/www/abc.txt

2.数据卷容器

如果需要在容器之间共享一些数据,最简单的方法就是使用数据卷容器。

数据卷容器是一个特殊的容器,它专门用于提供数据卷给其他容器挂载。数据卷容器本身不运行应用程序,而是作为一个数据存储和共享的中间件。

  • 创建数据卷容器:使用docker run命令创建一个容器,并通过-v选项指定一个或多个数据卷。
  • 使用数据卷容器:在创建其他容器时,使用--volumes-from选项将数据卷容器中的数据卷挂载到当前容器。

创建一个容器作为数据卷容器

docker run --name web2 -v /data1 -v /data2 -it centos:7 /bin/bash

echo "this is web2" > /data1/abc.txt

echo "THIS IS WEB2" > /data2/ABC.txt

使用 --volumes-from 来挂载 web2 容器中的数据卷到新的容器

docker run -it --volumes-from web2 --name web3 centos:7 /bin/bash

cat /data1/abc.txt

cat /data2/ABC.txt

但需要注意的是,如果数据卷容器被删除,那么它提供的数据卷也会被删除(除非这些数据卷也被其他容器挂载)

二、容器互联(使用centos镜像)

容器互联是通过容器的名称在容器间建立一条专门的网络通信隧道。简单点说,就是会在源容器和接收容器之间建立一条隧道,接收容器可以看到源容器指定的信息。

创建并运行源容器取名web1

docker run -itd -P --name web1 centos:7 /bin/bash

创建并运行接收容器取名web2,使用--link选项指定连接容器以实现容器互联

--link 容器名:连接的别名

docker run -itd -P --name web2 --link web1:web1 centos:7 /bin/bash

进web2 容器, ping web1

docker exec -it web2 bash

ping web1

注意:--link 功能在新版本的 Docker 中已被视为遗留特性,推荐使用 Docker 网络(如 docker network create--network 标志)来实现容器间的通信。

三、Docker 镜像的创建

创建镜像有三种方法,分别为基于已有镜像创建、基于本地模板创建以及基于Dockerfile创建。

3.1、基于现有镜像创建

①、首先启动一个镜像,在容器里做修改

docker create -it centos:7 /bin/bash

docker ps -a

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

000550eb36da centos:7 "/bin/bash" 3 seconds ago Created gracious_bassi

②、然后将修改后的容器提交为新的镜像,需要使用该容器的 ID 号创建新镜像

docker commit -m "new" -a "centos" 000550eb36da centos:test

#常用选项:

-m 说明信息;

-a 作者信息;

-p 生成过程中停止容器的运行。

docker images

3.2、基于本地模板创建

通过导入操作系统模板文件可以生成镜像,模板可以从 OPENVZ 开源项目下载,下载地址为http://openvz.org/Download/template/precreated

wget http://download.openvz.org/template/precreated/debian-7.0-x86-minimal.tar.gz

导入为镜像

cat debian-7.0-x86-minimal.tar.gz | docker import - debian:test

3.3、基于Dockerfile 创建(重点)

3.3.1、联合文件系统

UnionFS(联合文件系统):Union文件系统(UnionFS)是一种分层、轻量级并且高性能的文件系统,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下。AUFS、OverlayFS 及 Devicemapper 都是一种 UnionFS。

  • Docker从1.12版本开始将OverlayFS作为默认存储驱动。

UnionFS允许将多个物理位置的文件系统(或目录)合并成一个逻辑上的联合文件系统。这个联合文件系统对用户表现为一个统一的目录树,而底层可能包含多个不同的文件系统层 。这种技术的主要优点是能够高效地管理数据的变更,因为它允许在不修改原始数据的情况下,通过叠加新的层来存储变更

Union文件系统是Docker镜像的基础。镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。

特性:一次同时加载多个文件系统,但从外面看起来,只能看到一个文件系统,联合加载会把各层文件系统叠加起来,这样最终的文件系统会包含所有底层的文件和目录。

我们下载的时候看到的一层层的就是联合文件系统。

UnionFS的特点

  1. 分层结构:UnionFS通过分层来管理文件系统,每一层可以视为一个快照或增量更改集。
  2. 高效性:由于只存储增量数据,UnionFS可以显著提高存储效率。
  3. 只读与可写层:UnionFS中的层可以是只读的(如基础镜像层),也可以是可写的(如容器层)。
  4. 写时复制(Copy-on-Write, CoW):当尝试写入一个只读层时,UnionFS会创建一个新的可写层,并将修改的数据复制到该层,而不是直接修改原始层。

3.3.2、镜像加载原理

Docker的镜像实际上由一层一层的文件系统组成,这种层级的文件系统就是UnionFS。

在Docker镜像的最底层是bootfs,这一层与我们典型的Linux/Unix系统是一样的,包含boot加载器和内核。当boot加载完成之后整个内核就都在内存中了,此时内存的使用权已由bootfs转交给内核,此时系统也会卸载bootfs。

bootfs主要包含bootloader和kernel,bootloader主要是引导加载kernel,Linux刚启动时会加载bootfs文件系统。

rootfs,在bootfs之上。包含的就是典型Linux系统中的/dev,/proc,/bin,/etc等标准目录和文件。rootfs就是各种不同的操作系统发行版,比如Ubuntu,Centos等等。

我们可以理解成一开始内核里什么都没有,操作一个命令下载debian,这时就会在内核上面加了一层基础镜像;

再安装一个emacs,会在基础镜像上叠加一层image;

接着再安装一个apache,又会在images上面再叠加一层image。

最后它们看起来就像一个文件系统即容器的rootfs。

在Docker的体系里把这些rootfs叫做Docker的镜像。

但是,此时的每一层rootfs都是read-only的,我们此时还不能对其进行操作。

当我们创建一个容器,也就是将Docker镜像进行实例化,系统会在一层或是多层read-only的rootfs之上分配一层空的read-write的rootfs。

也就是创建实例化的容器后,每次操作数据,都会添加一层可读可写层,底层只可以读,上层可以添加可以读可写层来操作

3.3.3、Dockerfile

Docker镜像是一个特殊的文件系统,除了提供容器运行时所需的程序、库、资源、配置等文件外,还包含了一些为运行时准备的一些配置参数(如匿名卷、环境变量、用户等)。

镜像不包含任何动态数据,其内容在构建之后也不会被改变。

镜像的定制实际上就是定制每一层所添加的配置、文件。如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本,用这个脚本来构建、定制镜像,那么镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是 Dockerfile

Dockerfile是一个文本文件,其内包含了一条条的指令(Instruction),每一条指令构建一层,因此每一条指令的内容,就是描述该层应当如何构建。有了Dockerfile,当我们需要定制自己额外的需求时,只需在Dockerfile上添加或者修改指令,重新生成 image 即可, 省去了敲命令的麻烦。

除了手动生成Docker镜像之外,可以使用Dockerfile自动生成镜像。Dockerfile是由多条的指令组成的文件,其中每条指令对应 Linux 中的一条命令,Docker 程序将读取Dockerfile 中的指令生成指定镜像。

Dockerfile结构大致分为四个部分:基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令。Dockerfile每行支持一条指令,每条指令可携带多个参数,支持使用以"#"号开头的注释。

在编写 Dockerfile 时,有严格的格式需要遵循:

  1. 第一行必须使用 FROM 指令指明所基于的镜像名称;
  2. 之后使用 MAINTAINER 指令说明维护该镜像的用户信息;maintainer维护者
  3. 然后是镜像操作相关指令,如 RUN 指令。每运行一条指令,都会给基础镜像添加新的一层。
  4. 最后使用 CMD 指令指定启动容器时要运行的命令操作。
3.3.3.1、Docker 镜像结构的分层

镜像不是一个单一的文件,而是有多层构成。容器其实是在镜像的最上面加了一层读写层,在运行容器里做的任何文件改动,都会写到这个读写层。如果删除了容器,也就删除了其最上面的读写层,文件改动也就丢失了。Docker使用存储驱动管理镜像每层内容及可读写层的容器层。

(1)Dockerfile 中的每个指令都会创建一个新的镜像层;

(2)镜像层将被缓存和复用;

(3)当Dockerfile 的指令修改了,复制的文件变化了,或者构建镜像时指定的变量不同了,对应的镜像层缓存就会失效;

(4)某一层的镜像缓存失效,它之后的镜像层缓存都会失效;

(5)镜像层是不可变的,如果在某一层中添加一个文件,然后在下一层中删除它,则镜像中依然会包含该文件,只是这个文件在 Docker 容器中不可见了。

3.3.3.2、Dockerfile 操作常用的指令

(1)FROM 镜像 from

指定新镜像所基于的基础镜像,第一条指令必须为FROM 指令,每创建一个镜像就需要一条 FROM 指令

(2)MAINTAINER 名字 maintainer

说明新镜像的维护人信息

(3)RUN 命令 run
创建时 ,在所基于的镜像上执行命令,并提交到新的镜像中

例如:cd cp命令

(4)ENTRYPOINT ["要运行的程序", "参数 1", "参数 2"] entrypoint

设定容器启动时第一个运行的命令及其参数。

可以通过使用命令docker run --entrypoint 来覆盖镜像中的ENTRYPOINT指令的内容。

ENTRYPOINT ["rm", "-rf", "/*"]

(5)CMD ["要运行的程序", "参数1", "参数2"]

上面的是exec形式,shell形式:CMD 命令 参数1 参数2
容器启动时默认执行的命令或者脚本,Dockerfile只能有一条CMD命令。如果指定多条命令,只执行最后一条命令。
如果在docker run时指定了命令或者镜像中有ENTRYPOINT(有执行命令),那么CMD就会被覆盖。
CMD 可以为理解为 ENTRYPOINT 指令提供默认参数

ENTRYPOINT ["rm"]

CMD ["cp" ,"-rf","*"]

最终执行rm -rf *

java -jar xxxxxxx.jar 8090

docker run指定的命令----》ENTRYPOINT---》CMD

(6)EXPOSE 端口号 expose暴露

端口是都需要的

指定新镜像加载到 Docker 时要开启的端口 EXPOSE 8090

(7)ENV 环境变量 变量值

设置一个环境变量的值,会被后面的 RUN 使用

linxu PATH=$PATH:/opt

ENV PATH $PATH:/opt

(8)ADD 源文件/目录 目标文件/目录

将源文件复制到镜像中,源文件要与 Dockerfile 位于相同目录中 ,或者是一个 URL

有如下注意事项:

1、如果源路径是个文件,且目标路径是以 / 结尾, 则docker会把目标路径当作一个目录,会把源文件拷贝到该目录下。

如果目标路径不存在,则会自动创建目标路径。

/home/ky26/zhaichen.txt /home/ky26/

2、如果源路径是个文件,且目标路径是不以 / 结尾,则docker会把目标路径当作一个文件。

如果目标路径不存在,会以目标路径为名创建一个文件,内容同源文件;

如果目标文件是个存在的文件,会用源文件覆盖它,当然只是内容覆盖,文件名还是目标文件名。

如果目标文件实际是个存在的目录,则会源文件拷贝到该目录下。 注意,这种情况下,最好显示的以 / 结尾,以避免混淆。

A B

/home/ky26 /home/ky26

结论:用/

3、如果源路径是个目录,且目标路径不存在,则docker会自动以目标路径创建一个目录,把源路径目录下的文件拷贝进来。

如果目标路径是个已经存在的目录,则docker会把源路径目录下的文件拷贝到该目录下。

4、如果源文件是个归档文件(压缩文件),则docker会自动帮解压。

URL下载和解压特性不能一起使用。任何压缩文件通过URL拷贝,都不会自动解压。

(9)COPY 源文件/目录 目标文件/目录

只复制本地主机上的文件/目录复制到目标地点,源文件/目录要与Dockerfile 在相同的目录中

(10)VOLUME ["目录"]

在容器中创建一个挂载点

(11)USER 用户名/UID

指定运行容器时的用户

(12)WORKDIR 路径 /home

为后续的 RUN、CMD、ENTRYPOINT 指定工作目录

(13)ONBUILD 命令

指定所生成的镜像作为一个基础镜像时所要运行的命令。

当在一个Dockerfile文件中加上ONBUILD指令,该指令对利用该Dockerfile构建镜像(比如为A镜像)不会产生实质性影响。

但是当编写一个新的Dockerfile文件来基于A镜像构建一个镜像(比如为B镜像)时,这时构造A镜像的Dockerfile文件中的ONBUILD指令就生效了,在构建B镜像的过程中,首先会执行ONBUILD指令指定的指令,然后才会执行其它指令

OBuild rm - rf /*

注:请各位自己在生产中如果有的是别的dockerfile 请自习阅读,否则后果自付

(14)HEALTHCHECK

健康检查

四、案例

建立工作目录

mkdir /opt/apache

cd /opt/apache

vim Dockerfile

#基于的基础镜像
FROM centos:7
#维护镜像的用户信息
MAINTAINER this is xx image <自己的名字>
#镜像操作指令安装apache软件
RUN yum -y update
RUN yum -y install httpd
#开启 80 端口
EXPOSE 80
#复制网站首页文件
ADD index.html /var/www/html/index.html


//方法一:
#将执行脚本复制到镜像中
ADD run.sh /run.sh
RUN chmod 755 /run.sh
#启动容器时执行脚本
CMD ["/run.sh"]




//方法二:
ENTRYPOINT [ "/usr/sbin/apachectl" ]
CMD ["-D", "FOREGROUND"]




-----------------------------------------------------------------------------------
#基于镜像基础
FROM centos:7
#维护镜像的用户信息
MAINTAINER YC
#指令
ADD CentOS-Base.repo /etc/yum.repos.d/
RUN yum clean all && yum  makecache && \
yum install -y epel-release   && \
yum install -y  httpd
EXPOSE  80
ADD index.html /var/www/html/index.html
ENTRYPOINT ["/usr/sbin/apachectl" ]
CMD ["-D","FOREGROUND"]

方法二

docker build -t httpd:centos .

//新镜像运行容器

docker run -d -p 1216:80 httpd:centos

准备执行脚本

vim /opt/apache/CentOS-Base.repo

在【前置资源】

vim run.sh

#!/bin/bash
rm -rf /run/httpd/*                            #清理httpd的缓存
/usr/sbin/apachectl -D FOREGROUND            #指定为前台运行
#因为Docker容器仅在它的1号进程(PID为1)运行时,会保持运行。如果1号进程退出了,Docker容器也就退出了。

//准备网站页面
echo "this is test web" > index.html

//生成镜像
docker build -t httpd:centos .           #注意别忘了末尾有"."

//新镜像运行容器
docker run -d -p 1216:80 httpd:centos

//测试

http://192.168.80.10:1216/

########如果有网络报错提示########

[Warning] IPv4 forwarding is disabled. Networking will not work.

解决方法:

vim /etc/sysctl.conf

net.ipv4.ip_forward=1

sysctl -p

systemctl restart network

systemctl restart docker

备注:扩展有大量案例,请自行研究在【前置资源】

五、一些问题

1、为什么Docker里的centos的大小才200M?

因为对于精简的OS,rootfs可以很小,只需要包含最基本的命令、工具和程序库就可以了,因为底层直接用宿主机的kernel,自己只需要提供rootfs就可以了。由此可见对于不同的linux发行版,bootfs基本是一致的,rootfs会有差别,因此不同的发行版可以公用bootfs。

相关推荐
。puppy17 分钟前
HCIP--3实验- 链路聚合,VLAN间通讯,Super VLAN,MSTP,VRRPip配置,OSPF(静态路由,环回,缺省,空接口),NAT
运维·服务器
颇有几分姿色26 分钟前
深入理解 Linux 内存管理:free 命令详解
linux·运维·服务器
光芒再现dev44 分钟前
已解决,部署GPTSoVITS报错‘AsyncRequest‘ object has no attribute ‘_json_response_data‘
运维·python·gpt·语言模型·自然语言处理
AndyFrank1 小时前
mac crontab 不能使用问题简记
linux·运维·macos
ZHOU西口1 小时前
微服务实战系列之玩转Docker(十八)
分布式·docker·云原生·架构·数据安全·etcd·rbac
成都古河云2 小时前
智慧场馆:安全、节能与智能化管理的未来
大数据·运维·人工智能·安全·智慧城市
算法与编程之美2 小时前
文件的写入与读取
linux·运维·服务器
Amelio_Ming2 小时前
Permissions 0755 for ‘/etc/ssh/ssh_host_rsa_key‘ are too open.问题解决
linux·运维·ssh
心灵彼岸-诗和远方2 小时前
Devops业务价值流:软件研发最佳实践
运维·产品经理·devops
JuiceFS3 小时前
好未来:多云环境下基于 JuiceFS 建设低运维模型仓库
运维·云原生