TC（Traffic Control）是Linux内核中目前用于网络带宽流控非常成熟的一个工具，通过使用TC灵活的创建各种队列、并定义队列中的数据包被发送的方式， 从而实现对流量的控制。比如开源的 mesos 使用tc来限制job流量，并在twitter公司内大规模推广

Linux高级路由控制：http://lartc.org/howto/

TC文档：http://tldp.org/HOWTO/Traffic-Control-HOWTO/index.html

1. 原理

TC中主要包含两种队列：一类是无类队列(classless qdiscs)规定， 另一类是分类队列(classful qdiscs)规定。 无类队列规定相对简单，而分类队列规定则引出了分类和过滤器等概念，使其流量控制功能增强。

无类队列规定是对进入网络设备的数据流不加区分统一对待的队列规定。使用无类队列规定形成的队列能够 接受数据包以及重新编排、延迟或丢弃数据包。这类队列规 定形成的队列可以对整个网络设备的流量进行整形， 但不能细分各种情况。

1. LLC隔离的工具和原理

LLC是指Last Level cache，目前来说通常也就是L3 Cache，CAT是指Intel架构提供的一组工具&技术，用以支持LLC隔离。隔离的目的是针对Latency sensitive服务程序，提高QoS。可以考虑到两个LS敏感的程序跑在同一个机器上相互影响的程度还是比较大。

相关的一些资料如下：

• x86: Intel Cache Allocation Technology support
• Intel 64 and IA-32 Architectures Software Developer Manuals

其中的 17.16 PLATFORM SHARED RESOURCE CONTROL: CACHE ALLOCATION TECHNOLOGY

cpu cache隔离技术的原理基本上就是通过划分LLC，限制进程能使用的cache，前后隔离效果如下：

Cache Allocation Technology Allocates More Resource to High Priority Applications

1.1. Intel CAT技术

Intel CAT技术提供一系列工具：

• 通过CPUID指令，查询当前cpu架构是否支持CAT技术，以及支持哪些资源类型（目前来看一般就是LLC），同时可以查询CLOS的数量以及CBM，CBM是指bitmask的长度
• 提供一种机制，可以关联CLOSID和bitmask
• 提供一个特殊的寄存器，存储CLOSID，硬件根据CLOSID决定当前使用哪些资源

一些资料

1. https://www.kernel.org/doc/Documentation/scheduler/sched-bwc.txt
2. CPU bandwidth control for CFS

cpu带宽控制的原理是在给定周期内（cpu.cfs_period_us）内限制进程组的运行时间（cpu.cfs_quota_us），这两个参数值通过cpu子系统来设置。

cfs_rq相关的两个成员是 runtime_remaining 和 runtime_expires ，前者是当前进程组的剩余时间片，后者是时间片的到期时间。

内核的做法是：

1. 每次进程切换的时候更新当前进程的运行时间，检查进程时钟带宽是否超过阈值。
2. 通过一个定时器，每隔固定的cpu.cfs_period_us周期，更新进程组的时钟带宽