分类： 虚拟化技术

文件系统隔离之 – 初识 prjquota，原理、实践

Posted on by remaper in 容器核心技术, 文件系统

prjquota 的前身其实是 subtreequota，最早由 openvz 提出，2010年之后好像就没有消息了，没有进入内核主干，有点遗憾。后来我们移植过一次，但是由于设计过于复杂，功能不稳定，并且缺少社区的技术支持，最终选择了放弃。

prjquota 是 xfs 文件系统的一个原生特性，其设计简单，功能健壮。并且有人尝试把他移植到了 ext4 文件系统上。4系内核已经进入主干

prjquota 功能和 subtreequota 一样，能够限制一组具有相同 prjid 属性的文件的总大小。这些具有相同属性的 prjid，可能散落在不同的目录下，但属于同一个项目的文件拥有一个想同的project id标示，正如同一个用户的文件，或者同一个用户组的文件有相同的UserID，或者GroupID

具体实现，可以参考内核 patch：https://lwn.net/Articles/671627/

1）使能 prjquota 特性

磁盘project quota初始化，如下任意一种方法都可以：

  • 重新格式化一个磁盘来支持project quota： /root/ext4/e2fsprogs/misc/mke2fs /dev/hdb -O quota,project
  • 或者在已有的磁盘上使能project quota：/root/ext4/e2fsprogs/misc/tune2fs /dev/hdb  -O quota,project

mount设备支持project quota：

  • mount -t ext4 -o prjquota /dev/hdb xxxx/   或者：
  • mount -t ext4 /dev/hdb xxxx/； /root/ext4/quota-tools/quotaon  xxxx/，但是这个方法，需要在磁盘上没有任何文件被打开的时候才能执行

创建 project id和quota限制管理

  1. 设置一个目录属于一个project id：/root//ext4/e2fsprogs/misc/chattr -p 1001 xxxx/test1
  2. 使得这个目录下的文件默认继承这个project id：/root//ext4/e2fsprogs/misc/chattr  +P xxxx/test1
  3. 设置project的配额：/root/ext4/quota-tools/setquota -P 1001 100 100 400 500 xxxx，可以重复设置，例如更新quota，立即生效

网络带宽限制之 – Traffic Control 流控原理

Posted on by remaper in 容器核心技术

TC（Traffic Control）是Linux内核中目前用于网络带宽流控非常成熟的一个工具，通过使用TC灵活的创建各种队列、并定义队列中的数据包被发送的方式， 从而实现对流量的控制。比如开源的 mesos 使用tc来限制job流量，并在twitter公司内大规模推广

Linux高级路由控制：http://lartc.org/howto/

TC文档：http://tldp.org/HOWTO/Traffic-Control-HOWTO/index.html

1. 原理

TC中主要包含两种队列：一类是无类队列(classless qdiscs)规定， 另一类是分类队列(classful qdiscs)规定。 无类队列规定相对简单，而分类队列规定则引出了分类和过滤器等概念，使其流量控制功能增强。

无类队列规定是对进入网络设备的数据流不加区分统一对待的队列规定。使用无类队列规定形成的队列能够 接受数据包以及重新编排、延迟或丢弃数据包。这类队列规 定形成的队列可以对整个网络设备的流量进行整形， 但不能细分各种情况。

Intel Cache Allocation Technology: CPU LLC Isolation

Posted on by remaper in 容器核心技术

1. LLC隔离的工具和原理

LLC是指Last Level cache，目前来说通常也就是L3 Cache，CAT是指Intel架构提供的一组工具&技术，用以支持LLC隔离。隔离的目的是针对Latency sensitive服务程序，提高QoS。可以考虑到两个LS敏感的程序跑在同一个机器上相互影响的程度还是比较大。

相关的一些资料如下：

其中的 17.16 PLATFORM SHARED RESOURCE CONTROL: CACHE ALLOCATION TECHNOLOGY

cpu cache隔离技术的原理基本上就是通过划分LLC，限制进程能使用的cache，前后隔离效果如下：

Cache Allocation Technology Allocates More Resource to High Priority Applications

0

1.1. Intel CAT技术

Intel CAT技术提供一系列工具：

  • 通过CPUID指令，查询当前cpu架构是否支持CAT技术，以及支持哪些资源类型（目前来看一般就是LLC），同时可以查询CLOS的数量以及CBM，CBM是指bitmask的长度
  • 提供一种机制，可以关联CLOSID和bitmask
  • 提供一个特殊的寄存器，存储CLOSID，硬件根据CLOSID决定当前使用哪些资源

cgroup 进程调度之 cfs 时间片限制

Posted on by remaper in 容器核心技术

一些资料

  1. https://www.kernel.org/doc/Documentation/scheduler/sched-bwc.txt
  2. CPU bandwidth control for CFS

cpu带宽控制的原理是在给定周期内（cpu.cfs_period_us）内限制进程组的运行时间（cpu.cfs_quota_us），这两个参数值通过cpu子系统来设置。

cfs_rq相关的两个成员是 runtime_remaining 和 runtime_expires ，前者是当前进程组的剩余时间片，后者是时间片的到期时间。

内核的做法是：

  1. 每次进程切换的时候更新当前进程的运行时间，检查进程时钟带宽是否超过阈值。
  2. 通过一个定时器，每隔固定的cpu.cfs_period_us周期，更新进程组的时钟带宽