月度归档： 2017年8月

初识 prjquota，原理、实践

Posted on by remaper in 容器核心技术, 文件系统

prjquota 的前身其实是 subtreequota，最早由 openvz 提出，2010年之后好像就没有消息了，没有进入内核主干，有点遗憾。后来我们移植过一次，但是由于设计过于复杂，功能不稳定，并且缺少社区的技术支持，最终选择了放弃。

prjquota 是 xfs 文件系统的一个原生特性，其设计简单，功能健壮。并且有人尝试把他移植到了 ext4 文件系统上。4系内核已经进入主干

prjquota 功能和 subtreequota 一样，能够限制一组具有相同 prjid 属性的文件的总大小。这些具有相同属性的 prjid，可能散落在不同的目录下，但属于同一个项目的文件拥有一个想同的project id标示，正如同一个用户的文件，或者同一个用户组的文件有相同的UserID，或者GroupID

具体实现，可以参考内核 patch：https://lwn.net/Articles/671627/

1）使能 prjquota 特性

磁盘project quota初始化，如下任意一种方法都可以：

  • 重新格式化一个磁盘来支持project quota： /root/ext4/e2fsprogs/misc/mke2fs /dev/hdb -O quota,project
  • 或者在已有的磁盘上使能project quota：/root/ext4/e2fsprogs/misc/tune2fs /dev/hdb  -O quota,project

mount设备支持project quota：

  • mount -t ext4 -o prjquota /dev/hdb xxxx/   或者：
  • mount -t ext4 /dev/hdb xxxx/； /root/ext4/quota-tools/quotaon  xxxx/，但是这个方法，需要在磁盘上没有任何文件被打开的时候才能执行

创建 project id和quota限制管理

  1. 设置一个目录属于一个project id：/root//ext4/e2fsprogs/misc/chattr -p 1001 xxxx/test1
  2. 使得这个目录下的文件默认继承这个project id：/root//ext4/e2fsprogs/misc/chattr  +P xxxx/test1
  3. 设置project的配额：/root/ext4/quota-tools/setquota -P 1001 100 100 400 500 xxxx，可以重复设置，例如更新quota，立即生效

The Linux Scheduler: a Decade of Wasted Cores

Posted on by remaper in 进程调度

https://blog.acolyer.org/2016/04/26/the-linux-scheduler-a-decade-of-wasted-cores/

The Linux Scheduler: a Decade of Wasted Cores – Lozi et al. 2016

This is the first in a series of papers from EuroSys 2016. There are three strands here: first of all, there’s some great background into how scheduling works in the Linux kernel; secondly, there’s a story about Software Aging and how changing requirements and maintenance can cause decay; and finally, the authors expose four bugs in Linux scheduling that caused cores to remain idle even when there was pressing work waiting to be scheduled. Hence the paper title, “A Decade of Wasted Cores.”

In our experiments, these performance bugs caused many-fold performance degradation for synchronization-heavy scientific applications, 13% higher latency for kernel make, and a 14-23% decrease in TPC-H throughput for a widely used commercial database.