月度归档： 2017年12月

深入 prjquota，源码剖析

Posted on by remaper in 容器核心技术, 文件系统

ext4 prjquota 实现原理，参考了 xfs prjquota，并且复用了linux 内核的磁盘配额管理机制的大部分实现，所以源码上分析起来还是非常简单的

linux内核本身就已经支持user、group级别的磁盘配额管理，用法可以参考：https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/storage_administration_guide/ch-disk-quotas

从文件系统实现层面来看，文件系统本身并不了解什么是uid，gid，因此disk quota的实现一定是在raw file system 之上的。正因为是如此，所以 prjquota 得以复用原有 disk quota 的大量实现，之需要在原有基础之上，扩展一个新的 quota 类型而已

具体内核提交的 patch：https://lore.kernel.org/patchwork/patch/541891/

4.14 内核时，已经进入主干，因此可以参考：https://lxr.missinglinkelectronics.com/linux+v4.14/fs/ext4/

简述一下其基本设计：

  1. 在 super block 中，有一块专门用来存储 project id 用量的元数据区
  2. 每个文件，属于哪个 project id，是记录在文件的 xattr 属性里面的（正是因为 ext4 文件系统支持 xattr 扩展，所以才很方便的移植这个特性）
  3. 文件写入的时候，先查找这个文件的 project id，然后判断当前 project 的 usage + 文件的增量的大小，是否超过 project 的 hardlimit，如果超过，返回 EDOUT，文件写入失败

实践 pytorch.nn.linear 线性回归

Posted on by remaper in 神经网络

nn.Linear 定义：https://pytorch.org/docs/stable/generated/torch.nn.Linear.html#torch.nn.Linear

class torch.nn.Linear(in_features: int, out_features: int, bias: bool = True)

其中：

  • in_features – 每次输入的样本数，默认是1
  • out_features – 每次输出的样本数，默认也是1
  • bias – If set to False, the layer will not learn an additive bias. Default: True

pytorch 本身是没有神经网络层的概念的，所以如果我们要定义一个神经网络，需要通过 torch.nn.Module 来实现

假设我们有很多样本数据，符合模型 y = wx + c，我们也可以用 torch 来直接生成一些随即样本数据

x = torch.unsqueeze(torch.linspace(0, 1, 300),dim=1)
y = 2 * x + torch.rand(x.size())

CFS 调度算法的基本原理

Posted on by remaper in 进程调度

调度单元有三种状态：

  1. 睡眠：不在 CPU 运行队列里
  2. PENDING：调度单元被唤醒，比如网络数据包到达，IO ready等，进程被唤醒，进入运行队列，但是还没得到 CPU 时间片
  3. 运行：调度单元得到 CPU 控制权，开始运行

调度延时其实就是指进程被唤醒，进入运行队列到得到 CPU 时间片之间的等待时间，也就是处于 PENDING 状态的时间

Linux 通过一个红黑树来维护所有进程的状态，每个 CPU 都会有一个运行队列，管理所有进程和进程组【注意，进程组也是内核的一个基本的调度单元】

每个调度单元都会有一个 vruntime 的属性，用来记录当前调度单元以运行的虚拟时间