目录

容器 | 容器文件的 Quota

1. 容器文件的 Quota

容器虽然有自己的文件系统,但是容器在容器文件系统(overlayfs)中写入的数据,最终还是存到宿主机的磁盘上,因为容器文件系统其实只是宿主机上的一个目录而已。那么,这不仅影响容器本身,还会影响宿主机。

一种方式是通过给容器挂载一个 volume,这个 volume 可以是选择文件啥的。并且,这也是推荐的方式,因为对于容器来说,如果有大量的写操作是不建议写入容器文件系统的,一般是需要给容器挂载一个 volume,用来满足大量的文件读写。

第二种方式是对容器写入 OverlayFS 的数据量做限制,比如只允许一个容器写 100MB 的数据。OverlayFS 文件系统的特性中没有直接限制文件写入量的特性。那么,我们可以从 overlay 的本质出发来进行限制。因为 overlayFS 是通过 lowerdir 和 upperdir 两层目录联合挂载来实现的,lowerdir 是只读的,数据只会写在 upperdir 中。那么,其实我们只要通过限制 upperdir 目录容量的方式,就可以限制一个容器 OverlayFS 根目录的写入数据量。

那么宿主机上的文件系统是否支持对一个目录限制容量呢?其实 Linux 上最常用的两个文件系统 XFS 和 ext4,它们有一个特性 Quota 可以限制一个目录的使用量。

需要注意的是:ext4 自身支持 project quota 功能(Linux 4.5 版本之后)。但是,overlay2 over ext4 不支持 project quota 功能。

官方文档也有提到:https://docs.docker.com/engine/reference/commandline/run/#set-storage-driver-options-per-container

For the overlay2 storage driver, the size option is only available if the backing fs is xfs and mounted with the pquota mount option.

1.1. XFS Quota

在 Linux 系统里的 XFS 文件系统缺省都有 Quota 的特性,这个特性可以为 Linux 系统里的一个用户(user),一个用户组(group)或者一个项目(project)来限制它们使用文件系统的额度(quota),也就是限制它们可以写入文件系统的文件总量。由于同一个用户或者用户组可以操作多个目录,多个用户或者用户组也可以操作同一个目录,假如对一个用户或者用户组的限制,其实很难实现对一个目录的限制。那么对一个目录的限制应该使用 projetc 方式。

  • 首先我们要使用 XFS Quota 特性,必须在文件系统挂载的时候加上对应的 Quota 选项,比如我们目前需要配置 Project Quota,那么这个挂载参数就是"pquota"。并且对于根目录来说,这个参数还必须作为一个内核启动的参数"rootflags=pquota",这样设置就可以保证根目录在启动挂载的时候,带上 XFS Quota 的特性并且支持 Project 模式。

    我们可以从 /proc/mounts 信息里,看看根目录是不是带"prjquota"字段。如果里面有这个字段,就可以确保文件系统已经带上了支持 project 模式的 XFS quota 特性。

    https://img.dawnguo.cn/Container/20210810223004.png

  • 之后的第一步是给目标目录打上一个 Project ID,这个 ID 最终是写到目录对应的 inode 上。那么一旦目录打上这个 ID 之后,在这个目录下的新建的文件和目录也都会继承这个 ID。

  • 第二步,在 XFS 文件系统中,我们需要给这个 project ID 设置一个写入数据块的限制。有了 ID 和限制值之后,文件系统就可以统计所有带这个 ID 文件的数据块大小总和,并且与限制值进行比较。一旦所有文件大小的总和达到限制值,文件系统就不再允许更多的数据写入了。

我们可以使用 XFS 文件系统自带的工具 xfs_quota 来完成上述效果:

  • 首先新建的目录 /tmp/xfs_prjquota,由于我们想对它做 Quota 限制。所以在这里要对它打上一个 Project ID。在这里就通过 xfs_quota 这条命令,我们给 /tmp/xfs_prjquota 打上 Project ID 值 101,这个 101 就是个 ID 标识。

    1
    2
    3
    4
    
    # mkdir -p  /tmp/xfs_prjquota
    # xfs_quota -x -c 'project -s -p /tmp/xfs_prjquota 101' /
    Setting up project 101 (path /tmp/xfs_prjquota)...
    Processed 1 (/etc/projects and cmdline) paths for project 101 with recursion depth infinite (-1).
    
  • 之后,还是使用 xfs_quota 命令,对 101(我们刚才建立的这个 Project ID)做 Quota 限制。命令里面的"-p bhard=10m 101"就代表限制 101 这个 project ID,限制它的数据块写入量不能超过 10MB。

    1
    
    # xfs_quota -x -c 'limit -p bhard=10m 101' /
    
  • 做好限制之后,我们可以尝试往 /tmp/xfs_prjquota 写入 20MB 数据。可以看到,执行 dd 写入命令,就会有个出错返回信息"No space left on device"。这表示已经不能再往这个目录下写入数据了,而最后写入数据的文件 test.file 大小也停留在了 10MB。

    1
    2
    3
    4
    5
    6
    7
    8
    
    # dd if=/dev/zero of=/tmp/xfs_prjquota/test.file bs=1024 count=20000
    dd: error writing '/tmp/xfs_prjquota/test.file': No space left on device
    10241+0 records in
    10240+0 records out
    10485760 bytes (10 MB, 10 MiB) copied, 0.0357122 s, 294 MB/s
      
    # ls -l /tmp/xfs_prjquota/test.file
    -rw-r--r-- 1 root root 10485760 Oct 31 10:00 /tmp/xfs_prjquota/test.file
    

1.2. Docker 容器中的限制实现

Docker 也已经实现了限流功能,也就是用 XFS Quota 来限制容器的 OverlayFS 大小。在用 docker run 启动容器的时候,加上一个参数 –storage-opt size= ,就能限制住容器 OverlayFS 文件系统可写入的最大数据量了。同时使用 df -h 命令查看的时候,看到的容量其实是做了限制的。

https://img.dawnguo.cn/Container/20210810224011.png

Docker 里 SetQuota() 函数(https://github.com/moby/moby/blob/19.03/daemon/graphdriver/quota/projectquota.go#L155)就是用来实现 XFS Quota 限制的,我们可以看到它里面最重要的两步,分别是 setProjectID() 和 setProjectQuota()。而这两个函数里分别调用了 ioctl() 和 quotactl() 这两个系统调用来修改内核中 XFS 的数据结构,从而完成 project ID 的设置和 Quota 值的设置。

1.3. kubernetes 中的实现

k8s 1.14 开始,默认开启 LocalStorageCapacityIsolation,可以通过限制resources.limits.ephemeral-storage 和resources.requests.ephemeral-storage 来保护宿主机 rootfs了。k8s 通过du来检查ephemeral-storage相关volume/目录的大小,然后如果超出limit就evict pod。

du 的开销比较大, 并且 evict pod 只适合 stateless pod,所以最新的 k8s,可能是在用filesystem quota来限制emptyDir的大小了。

巨人的肩膀

  1. 极客时间.《容器实战》