论文原址：https://www.aaai.org/AAAI21Papers/AAAI-7907.SawhneyR.pdf

这几年研究把深度学习应用到量化交易和传统投资决策的论文并不少，但都有2个问题：

1. They do not directly optimize the target of investment in terms of profit
2. and treat each stock as independent from the others, ignoring the rich signals between related stocks’ temporal price movemen

为了解决这些问题，作者提出了一种叫 STHAN-SR 的超图神经网络。并通过对美3大交易所最近6年的数据，证明这个网络在当前所有股票预测算法里面是最优的

Introduction

美股市场，68万亿，19年

forecasting：预测

highly volatile and non-stationary nature – 股票市场具有很强的波动性

synergy 协同

当前主流的股票预测算法，最大的弊端就是不以投资收益为优化目标。因为这些算法，要么是基于回归来预测价格，要么基于分类来做交易决策，这种分类和回归的优化目标是为了提高股票价格走向的准确性或最小化预测股票收益的误差，而不一定是为了直接利润

（有什么不一样吗？？一脸懵比）

第二个弊端就是不考虑股票之间的相关性，总是把这些股票作为独立的个体来分析，或者使用一个过于简化的股票市场模型，一个由单个股票之间的成对关系组成的图表，但在现实中，这与真正的市场是相反的

论文原址：https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

无论是AI、深度学习，还是卷积神经网络，都不是这几年才有的概念，但确实是最近10年才流行起来。这里最主要的原因，还是要归功于AlexNet 2012年在大规模视觉识别挑战赛上取得的成功，所以才有了这篇论文

在这篇论文里面，AlexNet 提出了很多创新性的 idea，对卷积神经网络的发展影响深远，其中很多概念仍然是今天 CNN 的核心

论文的特点：

1. AlexNet 包含许多心的不同寻常的特性，这些特性提高了神经网络的性能并减少了训练时间
2. 提出 Dropout 解决过拟合的问题

下面我们再详细看下

不同寻常的网络特性

1. 非饱和神经元 ReLU

使用 ReLU 的四层卷积神经网络在 CIFAR-10 数据集上达到 25% 的训练误差比使用 tanh 神经元的等价网络（虚线）快 6 倍。为了使训练尽可能快，每个网络的学习率是单独选择的。没有采用任何类型的正则化。影响的大小随着网络结构的变化而变化，这一点已得到证实，但使用 ReLU 的网络都比等价的饱和神经元快几倍。

论文里有一片引用论文：https://www.cs.toronto.edu/~fritz/absps/reluICML.pdf

可以参考下

论文原址：https://arxiv.org/pdf/1311.2901.pdf

1. 背景

我们都知道 CNN 卷积神经网络 效果好，但是一直以来都是一个黑盒，有2个关键问题：

1. However there is no clear understanding of why they perform so wel
2. or how they might be improved

其实包括我自己也是很困惑的，卷积神经网络有非常多。但是你看网上的资源来来回回都是在讲这些神经网络的结构。但是很少人知道为什么要把结构设计成这个样子。比如LeNet-5第一层卷积层为啥需要6个通道？为什么整个网络只需要2个卷积层，能不能更多或者更少？

为了解决这个黑盒问题，论文作者提出了一种可视化的方法，能够观测到卷积层的feature maps到底识别到了图片的什么特征，并以此反馈来改进神经网络的结构设计。最后通过这个方法，作者在ImageNet测试集上取得了非常突出的结果

2. 方法

论文的核心思想：map these activities back to the input pixel space, showing what input pattern originally caused a given activation in the feature maps

以LeNet-5这种经典的2D网络为例，正向的卷积过程一般包括几个步骤：

1. filter
2. relu
3. max pooling
4. 【optionally】local contrast operation

pytorch LSTM：https://pytorch.org/docs/stable/generated/torch.nn.LSTM.html

最近看 google 的论文 autopilot，讲的是怎么通过一个app的历史的资源使用数据，来预测这个app到底需要多少资源，才能满足其服务的正常运行

论文讲了2种方法，就是：

1. 一种是传统的，对历史数据加权
2. 一种是基于增强学习的，这个有点复杂，没太看懂

不过我有个疑问，像资源使用这种时序的数据，用 lstm 这种循环神经网络不是最简单吗？为什么要用增强学习这么复杂的东西（状态空间复杂，状态的迁移也复杂，并且需要更大的计算量）

所以我打算试试用 lstm 来实现长期的资源预测

我的数据样本：

20220510000000,38.388889
20220510003000,33.722222
20220510010000,31.538889
...
20220510053000,31.183333
20220510060000,32.983333
20220510063000,36.694444

第一列是明文的时间，第二列是app的cpu使用

1. 思路

使用 lstm 有几个关键的地方：

1. 定义好网络的输入输出，简单来说就是你希望神经网络帮你学习什么样的特征映射。
2. 怎么实现长期预测

由于典型的 rnn 神经网络，是输入一串历史数据，输出下一个时刻的预测值。这是经典用法，可能也有一些方法，可以直接输出多个历史预测值的，不过我没研究过，这里不讨论

我的方法也比较简单，就是用预测出来的值作为神经网络的数据，继续滚动预测下一个值，通过这种方法，实现“长期”的预测

2. 网络（输入、输出）建模

首先要定义清楚网络的输入，输出是什么

由于经典的 rnn 只有一个输出，就是我们下一步要预测的值，所以这个没什么好讨论的

但是输入是可以多个的，你可以用当前最近的2个数据来预测下一个数据，也可以用当前10个数据预测下一个数据，也可以是N个。但是据我的实测观察来看，使用2个数据预测下一个数据效果好像更好一些

2个数据预测1个

视频：https://www.bilibili.com/video/BV1FT4y1E74V?p=120

这节课要讲的第三个，也是最后一个范例是VGG，也叫作VGG-16网络。

值得注意的一点是，VGG-16网络没有那么多超参数，这是一种只需要专注于构建卷积层的简单网络。首先用3×3，步幅为1的过滤器构建卷积层，padding参数为same卷积中的参数。然后用一个2×2，步幅为2的过滤器构建最大池化层。因此VGG网络的一大优点是它确实简化了神经网络结构，下面我们具体讲讲这种网络结构。

假设要识别这个图像，在最开始的两层用64个3×3的过滤器对输入图像进行卷积，输出结果是224×224×64，因为使用了same卷积，通道数量也一样。VGG-16其实是一个很深的网络，这里我并没有把所有卷积层都画出来。

假设这个小图是我们的输入图像，尺寸是224×224×3，进行第一个卷积之后得到224×224×64的特征图，接着还有一层224×224×64，得到这样2个厚度为64的卷积层，意味着我们用64个过滤器进行了两次卷积。正如我在前面提到的，这里采用的都是大小为3×3，步幅为1的过滤器，并且都是采用same卷积，所以我就不再把所有的层都画出来了，只用一串数字代表这些网络。

视频：https://www.bilibili.com/video/BV1FT4y1E74V?p=120 

我要举例说明的第二种神经网络是AlexNet，是以论文的第一作者Alex Krizhevsky的名字命名的，另外两位合著者是Ilya Sutskever和Geoffery Hinton。

AlexNet首先用一张227×227×3的图片作为输入，实际上原文中使用的图像是224×224×3，但是如果你尝试去推导一下，你会发现227×227这个尺寸更好一些。

第一层我们使用96个11×11的过滤器，步幅为4，由于步幅是4，因此尺寸缩小到55×55，缩小了4倍左右。

（以下请有兴趣的同学一定要推导一下，算一算才有长进~）

然后用一个3×3的过滤器构建最大池化层，f=3，步幅s为2，卷积层尺寸缩小为27×27×96。接着再执行一个5×5的卷积，padding之后，输出是27×27×276。然后再次进行最大池化，尺寸缩小到13×13。

再执行一次same卷积，相同的padding，得到的结果是13×13×384，384个过滤器。

再做一次same卷积，就像这样。

再做一次同样的操作，最后再进行一次最大池化，尺寸缩小到6×6×256。

6×6×256等于9216，将其展开为9216个单元，然后是一些全连接层。

最后使用softmax函数输出识别的结果，看它究竟是1000个可能的对象中的哪一个。

卷积层的参数计算：

1. 卷积后feature map边长： outputSize =（originalSize + paddingX2 – kernelSize）/ stride + 1 （其中outputSize是卷积之后得到的feature map的边长，originalSize是输⼊图的边长，padding是填充的⼤⼩，kernelSize是卷积核的边长，stride是步长）
2. 卷积层的可训练的参数个数： trainNum = (outputSize X outputSize + 1) X kernelNum (其中kernelNum是卷积核的个数，加1是因为每⼀个卷积核有⼀个bias参数)
3. 卷积层的连接数： connectNum = (kernelSize X kernelSize) X (outputSize X outputSize) X kernelNum
4. 卷积层的神经元个数： neuralNum = (outputSzie X outputSize) X kernelNum

采样层的参数计算：

1. 采样后map的边长： outputSize =（originalSize + paddingX2 – kernelSize）/ stride + 1 （其中outputSize是卷积之后得到的feature map的边长，originalSize是输⼊图的边长，padding是填充的⼤⼩，kernelSize是卷积核的边长，stride是步长）
2. 采样层可训练的参数个数： trainNum = (1+ 1) X kernelNum (其中kernelNum是卷积核的个数)
3. 采样层的连接数： connectNum = (kernelSize X kernelSize) X (outputSize X outputSize) X kernelNum
4. 采样层的神经元个数： neuralNum = (outputSzie X outputSize) X kernelNum

很经典的一篇文章，存档一下：https://xie.infoq.cn/article/c4d846096c92c7dfcd6539075

一、从神经网络到卷积神经网络

我们知道神经网络的结构是这样的：

那卷积神经网络跟它是什么关系呢？

其实卷积神经网络依旧是层级网络，只是层的功能和形式做了变化，可以说是传统神经网络的一个改进。比如下图中就多了许多传统神经网络没有的层次。

1. 定义

简而言之，卷积神经网络（Convolutional Neural Networks）是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。卷积神经网络的创始人是着名的计算机科学家 Yann LeCun，目前在 Facebook 工作，他是第一个通过卷积神经网络在 MNIST 数据集上解决手写数字问题的人。

Yann LeCunn

2. 卷积神经网络的架构

如上图所示，卷积神经网络架构与常规人工神经网络架构非常相似，特别是在网络的最后一层，即全连接。此外，还注意到卷积神经网络能够接受多个特征图作为输入，而不是向量。

LSTM 的论文原址：http://www.bioinf.jku.at/publications/older/2604.pdf

英文原文：http://colah.github.io/posts/2015-08-Understanding-LSTMs/

本文在 https://blog.csdn.net/Leo_Xu06/article/details/78141321 的翻译基础上做了一些修改

递归神经网络（Recurrent Neural Network, RNN）

人类每时每刻的思考都不是孤立的从头开始，就像你在阅读这篇文章时，你对每个词的理解都是基于对先前词的理解而产生的，因为你的想法是具有时序关联性的。

传统神经网络的一个主要缺点是——做不到信息的时序关联。举个例子，想象一下你想区分一个电影某个时间点所发生的事件，传统的神经网络就做不到根据之前的事件来推理得到下一个事件。

递归神经网络（RNN）可以解决这一问题，它的网络结构中存在回环，使得之前的信息得以保留。

上面的示意图中，模块 A 接受输入x_t，并输出 h_t，环形结构允许信息从一个网络状态转移到下一个网络状态。

这些循环让循环神经网络看起来有点神秘。但是，你再仔细想下，就会发现它们与常见的神经网络没有什么不一样的地方。循环神经网络可以被认为是同一网络的多个副本，每个副本向后继者传递一个消息。把它展开之后是这个样子的：

该链式结构揭示了RNN与序列（sequences）和列表（lists）紧密关联，用这种神经网络结构处理特定数据（文本，语言等）也是直观自然的。在过去的几年中，已经有一些难以置信的RNN成功应用案例来解决各种问题：语音识别、语言建模、翻译、图片字幕……这个名单还在不断扩展，相关讨论见Andrej Karpathy的博文：The Unreasonable Effectiveness of Recurrent Neural Networks。

这些成功背后的本质是“长短期记忆模型（LSTMs）”的使用，这是一种特殊的递归神经网络，它对很多任务都适用，而且相较于标准的RNN模型，它的性能要高出许多，几乎所有基于RNN令人激动的成果都是由它取得。本文也将探索这些 LSTM 模型

刚学习深度学习的时候，在网上曾经看过很多资料，始终搞不懂，为什么大家都说神经网络为什么能够无限逼近任意连续函数。大家普遍认为，理论上只要神经元足够多，神经网络足够大，就可以实现

后来知乎有个人写了偏文章解释了一下，有兴趣的可以移步这里：https://zhuanlan.zhihu.com/p/25590725

我困惑的根源在于：

1. 神经网络说白了就是一个矩阵，神经元之间的链接就是各种矩阵运算
2. 有很多激活函数是“线性”的，比如ReLU及其各种变种

当然，有些人认为ReLU是非线性激活函数，其实也没有错。但是我个人理解，叫分段线性函数，更合适一些。

那么问题来了，如果一个神经网络中，全部使用线性单元，无论经过多少次矩阵运算，最终训练出来的网络，不还是一个线性函数吗？