深度学习分为2个过程：

1. 训练：从数据得到模型
2. 推理：从模型得到答案

为解决训练而设计的系统叫训练框架：比如 paddlepaddle，tensorflow，pytorch

为解决推理而设计的系统叫推理引擎：比如 paddle inference，tensorflow，pytorch-trt 等等

训练得到的模型，其实就是一个计算图，这个计算图接收输入，通过一系列的运算，得到一个结果，后面这个过程就叫推理

如果只从系统的输入和输出看的话：编译器 ≈ 推理引擎

因为现在几乎所有的AI编译器，它的输入都是模型（计算图）+数据，输出就是一个推理结果，这个和推理引擎所干的事情几乎一模一样

以 tvm 为例，如下：

其中 nnvm + graph optimizations + tvm + tvm primitives 就是 TVM 干的事情

tvm 的输入就是 CoreML 或者 ONNX 模型（一种计算图的格式）