autopilot 算是 google 今年混部领域最重磅的论文了吧
论文原址：https://dl.acm.org/doi/pdf/10.1145/3342195.3387524
在传统的数据中心里，资源超售最简单的方式就是把闲置资源回收再分配，total = total – allocated + reclaim
有时候，业务为了应对峰值流量（特别是互联网服务这种有明显流量特征的），都会购买多一些冗余资源。但是这些冗余资源会因为各种原因，不是那么准确。比如流量随着时间流逝会逐渐发生变化、或者用户过于焦虑
用户填的Quota永远都是不准的
这会带来一些问题：
为了解决这个问题，google设计了autopilot，尝试通过自动的校准用户的 Quota，实现一定程度的超售，降低成本
论文原址：https://dl.acm.org/doi/pdf/10.1145/3342195.3387517
这篇论文主要是分析了google内部8个集群的workload数据，并和2011年（1个集群）的数据集做了一些对比，以此来跟踪数据中心这几年的workload变化
相较于2011年的workload数据，可以发现，无论是资源模型、负载分布、混部密度、系统架构，等，都有很大的变化。这里面的很多内容和想法，和我们过去做过的还有正在做的，都不谋而合
2011年的时候，google的资源模型只有4个优先级，分别是：
struct inode_operations {
int (*create) (struct user_namespace *, struct inode *,struct dentry *, umode_t, bool);
int (*symlink) (struct user_namespace *, struct inode *,struct dentry *,const char *);
int (*mkdir) (struct user_namespace *, struct inode *,struct dentry *,umode_t);
int (*rmdir) (struct inode *,struct dentry *);
/* 省略一万字 */
};
int invalidate_inode_page(struct page *page)
{
struct address_space *mapping = page_mapping(page);
if (!mapping)
return 0;
if (PageDirty(page) || PageWriteback(page))
return 0;
if (page_mapped(page))
return 0;
return invalidate_complete_page(mapping, page);
}
struct address_space *page_mapping(struct page *page)
{
struct address_space *mapping;
page = compound_head(page);
/* This happens if someone calls flush_dcache_page on slab page */
if (unlikely(PageSlab(page)))
return NULL;
if (unlikely(PageSwapCache(page))) {
swp_entry_t entry;
entry.val = page_private(page);
return swap_address_space(entry);
}
mapping = page->mapping;
if ((unsigned long)mapping & PAGE_MAPPING_ANON)
return NULL;
return (void *)((unsigned long)mapping & ~PAGE_MAPPING_FLAGS);
}
论文原址：https://www.usenix.org/system/files/conference/atc18/atc18-iorgulescu.pdf
演讲PPT：https://www.usenix.org/sites/default/files/conference/protected-files/atc18_slides_iorgulescu.pdf
这是微软在18年 usenix 会议上公开的一篇混部论文。这也是微软在混部这个领域公开的为数不多的论文之一。论文中描述了bing业务（非公有云）如何通过在离线混部 + CPU Blind Isolation 这个技术，将 indexserver 集群的利用率从21%提升到66%的过程
其中最关键的，还是 CPU Blind Isolation 这个技术，很有意思。