Docker资源控制

Docker 通过 Cgroup 来控制容器使用的资源配额,包括 CPU、内存、磁盘三大方面 , 基本覆盖了常见的资源配额和使用量控制。
Cgroup 是 ControlGroups 的缩写 ,是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如 CPU、内存、磁盘 IO 等等) 的机制,被 LXC、docker 等很多项目用于实现进程资源控制。

Cgroup 本身是提供将进程进行分组化管理的功能和接口的基础结构,I/O 或内存的分配控制等具体的资源管理是通过该功能来实现的。

CPU资源控制

1.设置CPU使用率上限

Linux通过CFS(Completely Fair Scheduler,完全公平调度器)来调度各个进程对CPU的使用。CFS默认的调度周期是100ms

我们可以设置每个容器进程的调度周期,以及在这个周期内各个容器最多能使用多少 CPU 时间。

使用 --cpu-period 即可设置调度周期
使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间 。两者可以配合使用。

CFS 周期的有效范围是 1ms~1s,对应的 --cpu-period 的数值范围是 1000~1000000。

而容器的 CPU 配额必须不小于 1ms,即 --cpu-quota 的值必须 >= 1000。

docker run -itd --name test1 centos:7 /bin/bash
3e8d602757cc3592d6b303f143815ddf8fd28390b3f2a820f5331189e05b416b

cd /sys/fs/cgroup/cpu/docker/
cd 3e8d602757cc3592d6b303f143815ddf8fd28390b3f2a820f5331189e05b416b/
ll
cat cpu.cfs_quota_us 
-1

cat cpu.cfs_period_us 
100000
-------------------------------------------------------------------------------------------
cpu.cfs_period_us: 表示 CFS 调度周期的长度,以微秒为单位。
在每个周期内,容器可以使用指定比例的 CPU 时间。
默认情况下,cpu.cfs_period_us 的值是 100000(即 100 毫秒)。

cpu.cfs_quota_us: 表示容器在 cpu.cfs_period_us 周期内能够使用的 CPU 时间量,同样以微秒为单位。
它定义了一个相对于周期的配额。
如果设置为 -1,表示没有限制。
如果设置为正值,表示在周期内的配额。
例如,如果 cpu.cfs_quota_us 设置为 50000,那么容器在一个周期内最多可以使用 50 毫秒的 CPU 时间。

在 Linux 的 CFS 调度器中,cpu.cfs_period_us 参数定义了一个周期,
而这个周期实际上是用来调度任务(包括容器)的基本时间单位。
然而,具体的一次调度的时间是由调度器决定的,并且这个时间在一般情况下是动态变化的。
-------------------------------------------------------------------------------------------

CPU压力测试

docker exec -it test1 /bin/bash
vim /cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done

chmod +x /cpu.sh
./cpu.sh

top
#可以看到这个脚本占了很多的cpu资源

设置比例分配CPU使用时间上限

此处设置50%的比例

docker run -itd --name test2 --cpu-quota 50000 centos:7 /bin/bash
#可以重新创建一个容器并设置限额

或者

cd /sys/fs/cgroup/cpu/docker/3e8d602757cc3592d6b303f143815ddf8fd28390b3f2a820f5331189e05b416b/
echo 50000 > cpu.cfs_quota_us
docker exec -it 3ed82355f811 /bin/bash
./cpu.sh

top
#可以看到cpu占用率接近50%,cgroups对cpu的控制起了效果

多CPU分配容器使用上限

//在多核情况下,如果允许容器进程完全占用两个 CPU, 
则可以将 cpu-period 设置为 100000( 即 0.1 秒), cpu-quota设置为 200000(0.2 秒)。

2.设置CPU资源占用比

设置多个容器时才有效
Docker 通过 --cpu-shares 指定 CPU 份额,默认值为1024,值为1024的倍数。

#创建两个容器为 test3 和 test4,若只有这两个容器,设置容器的权重,使得c1和c2的CPU资源占比为1/3和2/3。
docker run -itd --name test3 --cpu-shares 512 centos:7
docker run -itd --name test4 --cpu-shares 1024 centos:7

#分别进入容器,进行压力测试
yum install -y epel-release
yum install -y stress
#stress 是一个用于模拟系统负载的工具,它可以测试系统在高负载条件下的稳定性。

stress -c 4
#产生四个进程,每个进程都反复不停的计算随机数的平方根

#再开一个终端查看容器运行状态(动态更新)
docker stats

可以看到在 CPU 进行时间片分配的时候,容器 test4 比容器 test3 多一倍的机会获得 CPU 的时间片 。但分配的结果取决于当时主机和其他容器的运行状态, 实际上也无法保证容器 test3 一定能获得 CPU 时间片。

比如容器 test3 的进程一直是空闲的,那么容器 test4 是可以获取比容器 test3 更多的 CPU 时间片的。极端情况下,例如主机上只运行了一个容器,即使它的 CPU 份额只有 50,它也可以独占整个主机的 CPU 资源。

Cgroups 只在容器分配的资源紧缺时,即在需要对容器使用的资源进行限制时,才会生效。

因此,无法单纯根据某个容器的 CPU 份额来确定有多少 CPU 资源分配给它,资源分配结果取决于同时运行的其他容器的 CPU 分配和容器中进程运行情况。

3.设置容器绑定指定的CPU

#先分配虚拟机4个CPU核数
docker run -itd --name test5 --cpuset-cpus 1,3 centos:7 /bin/bash

#进入容器,进行压力测试
yum install -y epel-release
yum install stress -y
stress -c 4

#再开一个终端查看CPU使用情况
top
按"数字1"

对内存使用的限制

1.限制容器可以使用的最大内存

#-m(--memory=) 选项用于限制容器可以使用的最大内存
docker run -itd --name test6 -m 512m centos:7 /bin/bash

docker stats test6

2.限制容器可用的swap大小

#限制可用的 swap 大小, --memory-swap
例:docker run -itd --name test7 -m 512m --memory-swap=1g centos:7

强调一下,--memory-swap 是必须要与 --memory 一起使用的。

正常情况下,--memory-swap 的值包含容器可用内存和可用 swap。
所以 -m 512m --memory-swap=1g 的含义为:容器可以使用 512M 的物理内存,
并且可以使用 700M(1G - 300)的 swap。

如果 --memory-swap 设置为 0 或者 不设置,则容器可以使用的 swap 大小为 -m 值的两倍。
如果 --memory-swap 的值和 -m 值相同,则容器不能使用 swap。
如果 --memory-swap 值为 -1,它表示容器程序使用的内存受限,
而可以使用的 swap 空间使用不受限制(宿主机有多少 swap 容器就可以使用多少)。

对磁盘IO配额控制(blkio)的限制

--device-read-bps:限制某个设备上的读速度bps(数据量),单位可以是kb、mb(M)或者gb。
例:docker run -itd --name test8 --device-read-bps /dev/sda:1M  centos:7 /bin/bash

--device-write-bps : 限制某个设备上的写速度bps(数据量),单位可以是kb、mb(M)或者gb。
例:docker run -itd --name test9 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

1.测试默认写速度

#通过dd来验证写速度
dd if=/dev/zero of=test.out bs=1M count=10 oflag=direct
#添加oflag参数以规避掉文件系统cache

如果你在使用 dd 命令时不加 oflag=direct 参数,数据写入可能会经过文件系统缓存,
这会导致速度变快,因为数据首先被缓存到内存中,然后再写入磁盘。

使用 oflag=direct 参数会禁用文件系统缓存,直接将数据写入磁盘,
更真实地测试设备的性能,因为它模拟了直接写入物理设备的情况。

2.对容器写速度进行限制

#创建容器,并限制写速度
docker run -it --name test10 --device-write-bps /dev/sda:1mb centos:7 /bin/bash

#通过dd来验证写速度
dd if=/dev/zero of=test.out bs=1M count=10 oflag=direct

清理docker占用的磁盘空间

docker system prune -a
#可以用于清理磁盘,删除关闭的容器、无用的数据卷和网络
相关推荐
Lary_Rock42 分钟前
RK3576 LINUX RKNN SDK 测试
linux·运维·服务器
昌sit!3 小时前
K8S node节点没有相应的pod镜像运行故障处理办法
云原生·容器·kubernetes
追风林4 小时前
mac 本地docker-mysql主从复制部署
mysql·macos·docker
一坨阿亮4 小时前
Linux 使用中的问题
linux·运维
A ?Charis6 小时前
Gitlab-runner running on Kubernetes - hostAliases
容器·kubernetes·gitlab
城南vision6 小时前
Docker学习—Docker核心概念总结
java·学习·docker
wclass-zhengge6 小时前
Docker篇(Docker Compose)
运维·docker·容器
李启柱6 小时前
项目开发流程规范文档
运维·软件构建·个人开发·设计规范
北漂IT民工_程序员_ZG7 小时前
k8s集群安装(minikube)
云原生·容器·kubernetes
力姆泰克7 小时前
看电动缸是如何提高农机的自动化水平
大数据·运维·服务器·数据库·人工智能·自动化·1024程序员节