论文：https://www.usenix.org/system/files/conference/nsdi17/nsdi17-gu.pdf

ppt：https://www.usenix.org/sites/default/files/conference/protected-files/nsdi17_slides_gu.pdf

源码：https://github.com/SymbioticLab/Infiniswap

infiniswap 可以实现把一个机器的内存 swap 到另外多个机器上（1对多）

和其他实现相比，infiniswap 可以把开销做到很小，并且故障容错能力更强

1. A transparent remote paging model for virtual machines @2008
2. Swapping to remote memory over Infiniband: An approach using a high performance network block device @2005
3. 还有一堆20+年前的论文（参考意义不大）

infiniswap 的组件其实就2个，非常简单：

1. infiniswap-bd：一个虚拟的 swap 设备，其后端是远程内存
2. infiniswap-daemon：管理本机对外提供的 remote memory（包括内存到虚拟地址的映射，等等）

这2个组件每个机器都会部署，类似于 daemonset

而且有个比较有意思的地方是，infiniswap 是去中心化的，它并没有一个中心式的管理组件（你看zombieland，中心式的管控组件就挺多的）

如下：

Zombieland: Practical and Energy-efficientmemory disaggregation in a datacenter

论文：https://oatao.univ-toulouse.fr/24818/1/nitu_24818.pdf

zombieland 从硬件视角，实现了CPU&内存的池化

和传统的专门做内存池化的系统不太一样，zombieland 做到了把cpu和内存彻底的分离，甚至连供电都是分开的，它可以做到把cpu的电源关掉的情况下仍然可以让内存提供远程访问服务

（有点牛逼，这不得把主板设计都改了？）

通过这个设计，zombieland 实现了 86% 的能效提升

zombieland 的思路是实现服务器的 ”半关机“，增加了一个新的 ACPI 状态，叫 Sz，处于这种状态的服务器叫 zombie

这种 Sz 服务器，它的内存是可以被远程访问的，但是功耗只比 S3 状态增加了 15%，而且这种设计对硬件的改动很小

然后 zombieland 给 hypervisor 实现了2种远程内存扩展：RAM ext 和 Explicit swap device，允许 hypervisor 把虚机的冷内存卸载到远程内存上，或者用户可以显式的把内存swap到远端

和其他方案对比：

1）Server-centric architecture

能效：Total Energy Consumed = 2.1 × Emax.

论文：https://www.usenix.org/conference/osdi20/presentation/ruan

AIFM 提出一种在用户态完成 swap 的方案，相比传统的内核态（虚拟内存）的方案，实现了：

1. 更低的延迟：相比 fastswap，有6倍吞吐的提升
2. 更高的灵活性：用户可以显式指定一块内存是local还是far（指向 remote memory）

1) OS swapping and far memory

之前对 swap 以及 far memory 相关的研究，大多都是在内核态的，由于内核态的 swap 都是 4k 粒度的，对于一些随机大量的小object场景，会带来很多性能问题

另一方面，如果你要依赖一些应用的信息（比如访存的行为、访存策略、内存热点）去做性能优化，这也是做不到的（madvise有一些近似的功能，但是不够）

为此，AIFM 提出了一种object级别的，可以访问远端内存的，类似于c++弱指针的一种新型指针

2）Disaggregated and distributed shared memory

当前大多数 Disaggregated memory 相关的实现，都要求数据中心具备高速互联的能力（但是现在很多数据中心其实还不具备这个能力），AFIM 提供了一种软件级的解决方案

另外一个问题是，传统的 far memory 系统里面，一份数据需要被多个 host 共享，这就要解决很复杂的数据一致性问题（同时带来了很大的性能开销）

AIFM 简化了这个问题， far memory 中的数据只属于一个 host

论文：https://engineering.purdue.edu/WukLab/hotpot-socc17.pdf

NVM：Next-generation non-volatile memories，一种非易失性，按字节寻址，低延迟（接近DRAM的读写性能），新型设备

Hotpot 应该是第一个支持 PM 的 DSM 系统，传统的 DSM 都没有为 PM 做过真正意义上的支持。17年的Octopus也算是一个支持 PM 的 DSM 系统，但是它只有文件系统接口

Octopus: an RDMA-enabled DistributedPersistent Memory File System

因此，作者实现了一个支持 PM 的（所以叫DSPM区别于传统的DSM），内核态的DSM 系统，然后把一个 NoSQL 数据库部署到了 Hotpot 上，性能提升了3倍

作者发现 Tensorflow 和 PowerGraph 这类应用程序，在多个线程之间有大量的共享数据。

但是这个地方我没太理解，DSM 系统对同机多线程之间的数据共享是没有价值的，因为多线程本来就共享一个地址空间，数据只有一份

唯一的解析可能是，dsm 可以让这类系统，实现跨node级别的线性扩展

First）应该提供什么样的接口来同时支持直接内存访问，以及数据持久化？同时如果支持直接内存访问，会带来一个新的问题，怎么保证“指针”在不同机器上的一致性？

Second) 如何有效地组织DSPM中的数据以提供良好的应用程序性能？

Finally) 分布式缓存的数据一致性和可靠性怎么解决？