Docker资源管理-数据管理

一、CPU 资源控制:

1.cgroups:

cgroups,是一个非常强大的linux内核工具 ,他不仅可以限制被 namespace 隔离起来的资源, 还可以为资源设置权重、计算使用量、操控进程启停等等。 所以 cgroups(Control groups)实现了对资源的配额和度量。

cgroups四大功能:

  • 资源限制:可以对任务使用的资源总额进行限制
  • 优先级分配:通过分配的cpu时间片数量以及磁盘IO带宽大小,实际上相当于控制了任务运行优先级
  • 资源统计:可以统计系统的资源使用量,如cpu时长,内存用量等
  • 任务控制:cgroup可以对任务执行挂起、恢复等操作

2.cpu资源控制:

2.1.设置CPU使用率上限:

1.Linux通过CFS (Completely Fair Scheduler,完全公平调度器 )**来调度各个进程对CPU的使用。**CFS默认的调度周期是100ms。 我们可以设置每个容器进程的调度周期,以及在这个周期内各个容器最多能使用多少 CPU 时间。

2.使用 --cpu-period 即可设置调度周期,使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。

修改默认的容器时间分片上限规则:

#cpu.cfs_quota_us:表示该cgroups限制占用的时间(微秒),默认为-1,表示不限制。 如果设为50000,表示占用50000/100000=50%的CPU

2.2.CPU压力测试:

进入容器:

bash 复制代码
docker exec -it 容器名 /bin/bash

编写脚本:

bash 复制代码
#!/bin/bash
i=0
while true
do
let i++
done
bash 复制代码
chmod +x cpu.sh

./cpu.sh
#执行脚本

创建容器时指定容器的cpu资源占用量上限:

bash 复制代码
设置50%的比例分配CPU使用时间上限
docker run -itd --name test6 --cpu-quota 50000 centos:7 /bin/bash

设置CPU资源占用比(设置多个容器时才有效)

创建容器时可以使用选项 --cpu-shares 数值(该数值要为1024的倍数,1024代表一份,当个容器占用cpu的份额由自身分配的份数除于所有容器占用cpu的份数,就为该容器所占用cpu资源的百分比)

bash 复制代码
Docker 通过 --cpu-shares 指定 CPU 份额,默认值为1024,值为1024的倍数。
#创建两个容器为 c1 和 c2,若只有这两个容器,设置容器的权重,使得c1和c2的CPU资源占比为1/3和2/3。
docker run -itd --name test01 --cpu-shares 512 centos:7	
docker run -itd --name test02 --cpu-shares 1024 centos:7

分别进入容器,进行压力测试

bash 复制代码
#下载epel源
yum install -y epel-release
#下载压测工具
yum install -y stress
 
#进行四个线程压测
stress -c 4				#产生四个进程,每个进程都反复不停的计算随机数的平方根
 
#再开启一个终端查看测试结果
docker stats

2.3.设置容器绑定指定的CPU:

先分配虚拟机4个CPU核数

bash 复制代码
docker run -itd --name test03 --cpuset-cpus 1 centos:7 /bin/bash
bash 复制代码
进入容器,进行压力测试
yum install -y epel-release
yum install stress -y
stress -c 4

二、docker数据管理:

管理 Docker 容器中数据主要有两种方式:

数据卷(Data Volumes) 和数据卷容器(DataVolumes Containers)。

在生成容器的同时,加上 -v 选项,指定把当前服务器的目录映射到容器中,实现docker持久化!

1.数据卷(Data Volumes):

1.1.概述:

数据卷是一个供容器使用的特殊目录,位于容器中。可将宿主机的目录挂载到数据卷上,对数据卷的修改操作立刻可见,并且更新数据不会影响镜像,从而实现数据在宿主机与容器之间的迁移。数据卷的使用类似于 Linux 下对目录进行的 mount 操作。

1.2.原理:

将容器内部的配置文件目录,挂载到宿主机指定目录下

数据卷默认会一直存在,即使容器被删除。

宿主机和容器是两个不同的名称空间,如果想进行连接需要用ssh,exec和attch也类似于ssh这种方式登录。

在企业中ssh这种登陆方式会比较危险,安全漏洞很大,尽量减少ssh这种,杜绝了频繁使用exec。

因此使用数据卷的方式把容器内部的文件目录挂载到宿主机指定目录下进行修改,当容器里的文件频繁需要修改时不需要登陆进去,直接使用数据卷方式在宿主机指定的目录下进行修改即可,方便又安全。

1.3.作用:

Docker容器删除后,在容器中产生的数据也会随之销毁,所以使用数据卷避免这种情况。由Docker挂载到容器,但不属于联合文件系统,因此能够绕过Union File System(联合文件系统),提供一些用于持续存储或共享数据的特性。

1.4.示例:宿主机目录 /var/test 挂载同步到容器中的 /data1

注意:宿主机本地目录的路径必须是使用绝对路径。如果路径不存在,Docker会自动创建相应的路径。

把宿主机挂载到容器内部

bash 复制代码
docker run -it --name rgangan3 -v /var/test:/data1 nginx:latest /bin/bash
bash 复制代码
cd /var && ls

在容器中创建文件num01.txt并查看:

bash 复制代码
echo "this is num01 file" > /data1/num01.txt
cat /var/test/num01.txt

2.数据卷容器(DataVolumes Containers):

2.1.概述:

数据卷容器是一个普通的容器,专门提供数据卷给其他容器挂载使用。

2.2.作用:

让两个容器实现数据共享。

如果需要在容器之间共享一些数据,最简单的方法就是使用数据卷容器。

2.3.示例:创建并使用数据卷容器:

创建一个容器 rgangan4 作为数据卷容器并创建文件 1.txt 与 2.txt

bash 复制代码
#创建并进入容器
docker run -it --name rgangan3 -v /data1 -v /data3 nginx:latest /bin/bash	
 
#容器内创建测试文件1、2
echo "this is 1 file" > /data1/1.txt		  	
echo "THIS IS 2 FILE" > /data3/2.txt					

使用 --volumes-from 挂载容器 rgangan5 中的数据卷到新的容器 :

bash 复制代码
#创建并进入容器
docker run -it --name rgangan5 --volumes-from rgangan4 nginx:latest /bin/bash
 
#查看测试数据是否同步
cat data1/1.txt											
cat data3/2.txt

3.容器互联:--link:

使用centos镜像,容器互联是通过容器的名称在容器间建立一条专门的网络通信隧道。

简单点说,就是会在源容器和接收容器之间建立一条隧道,接收容器可以看到源容器指定的信息。

bash 复制代码
1、创建并运行源容器取名web1
docker run -itd -P --name web1 centos:7 /bin/bash
 
2、创建并运行接收容器取名web2
#使用--link选项指定连接容器以实现容器互联
docker run -itd -P --name web2 --link web1:web2 centos:7 /bin/bash
 
3、进入web2容器验证
docker exec -it web2 bash
ping web1
 
也可以直接取消后台-d 直接进入web2容器ping web1
相关推荐
一个天蝎座 白勺 程序猿14 小时前
KingbaseES数据库归档重做日志文件管理:从配置到运维的实战指南
运维·数据库·oracle·kingbasees·金仓数据库
分布式存储与RustFS18 小时前
镜像仓库的层别堆本地盘:用 RustFS 给 Docker Registry 当 S3 后端
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
陈希12318 小时前
Linux 防火墙配置实战:firewalld、iptables 与云安全组
linux·运维·服务器
@兽血沸腾20 小时前
Windows系统安装Jenkins部署应用至远程Windows服务器操作指南
运维·服务器·jenkins
闲云自留地1 天前
K8s 的记忆大脑!ETCD 集群部署、etcdctl 命令与备份恢复全通关
容器·kubernetes·etcd
讯捷蓝达1 天前
戴尔R720xd服务器卡死在 “Configuring Memory...Done“,换了内存还是卡?问题根本不在内存
运维·服务器
爱和冰阔落1 天前
【Linux网络】TCP 服务器如何并发处理多个客户端?从 fork、僵尸进程到双重 fork
linux·运维·服务器·网络
lisanmengmeng1 天前
alertmanger 标签 rules 打上分组标签
linux·运维·服务器
Android系统攻城狮1 天前
Linux FFmpeg深度解析之av_write_frame调用流程与实战(三十三)
linux·运维·服务器·ffmpeg·音视频进阶·ffmpeg音视频
上火的金鱼妹1 天前
k8s生产实际问题排查(网关,数据库读写等)
运维·服务器