很经典的一篇文章，存档一下：https://xie.infoq.cn/article/c4d846096c92c7dfcd6539075
我们知道神经网络的结构是这样的：
那卷积神经网络跟它是什么关系呢？
其实卷积神经网络依旧是层级网络，只是层的功能和形式做了变化，可以说是传统神经网络的一个改进。比如下图中就多了许多传统神经网络没有的层次。
简而言之，卷积神经网络（Convolutional Neural Networks）是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。卷积神经网络的创始人是着名的计算机科学家 Yann LeCun，目前在 Facebook 工作，他是第一个通过卷积神经网络在 MNIST 数据集上解决手写数字问题的人。
Yann LeCunn
如上图所示，卷积神经网络架构与常规人工神经网络架构非常相似，特别是在网络的最后一层，即全连接。此外，还注意到卷积神经网络能够接受多个特征图作为输入，而不是向量。
原文地址： https://andrew.gibiansky.com/blog/machine-learning/baidu-allreduce/
Allreduce 其实一直是HPC领域很常见的一个技术，所以百度这篇论文其实讲的也是如何将Allreduce从HPC引入到深度学习领域，通过Allreduce算法，大大的提高了深度学习的模型训练速度
过去几年中，神经网络规模不断扩大，而训练可能需要大量的数据和计算资源。 为了提供所需的计算能力，我们使用高性能计算（HPC）常用的技术将模型缩放到数十个GPU，但在深度学习中却没有充分使用。 这种ring allreduce技术减少了在不同GPU之间进行通信所花费的时间，从而使他们可以将更多的时间花费在进行有用的计算上。 在百度的硅谷AI实验室（SVAIL）中，我们成功地使用了这些技术来训练最先进的语音识别模型。 我们很高兴将Ring Allreduce的实现发布为TensorFlow的库和补丁程序，并希望通过发布这些库，我们可以使深度学习社区更有效地扩展其模型。
在过去的几年中，神经网络已被证明是解决各种问题的非常有效的工具，并且在规模和计算需求方面迅速增长。 2012年，用于图像识别的SuperVision卷积网络通过两个星期的GPU和6000万个参数在对象识别方面取得了长足的进步。 2016年，研究人员在网络上进行语言建模方面取得了突破，该网络具有在32个GPU上进行了为期三周的训练的十亿多个参数。 在百度研究院的硅谷AI实验室中，2014年，我们的Deep Speech语音识别系统的第一次迭代大约有1100万个参数，而一年后的下一次迭代已增长到1亿个参数。
随着神经网络的参数数量和计算需求的增长，在许多节点和许多GPU上有效并行化神经网络训练变得越来越重要，因为等待大型网络训练数月会减慢实验速度并限制进一步的发展。 在此博客文章中，我们介绍了一种来自高性能计算（HPC）领域的技术，并演示了如何将其应用于深度学习以在神经网络训练中获得显着的性能提升。
由于日版 docomo 有芯片锁，无法解锁bl，也无法 root，目前唯一的办法只能通过 adb 删除自带软件已达到精简目的
adb 怎么安装怎么用自行百度，目前只贴 app 的清理列表。可以直接保存为 bat 文件，执行即可
adb shell pm uninstall –user 0 com.amazon.mShop.android.shopping
adb shell pm uninstall –user 0 com.google.android.calendar
adb shell pm uninstall –user 0 jp.co.nttdocomo.lcsapp
adb shell pm uninstall –user 0 com.sonymobile.scan3d
adb shell pm uninstall –user 0 com.google.android.youtube
struct inode_operations {
int (*create) (struct user_namespace *, struct inode *,struct dentry *, umode_t, bool);
int (*symlink) (struct user_namespace *, struct inode *,struct dentry *,const char *);
int (*mkdir) (struct user_namespace *, struct inode *,struct dentry *,umode_t);
int (*rmdir) (struct inode *,struct dentry *);
/* 省略一万字 */
};
主成分分析(PCA)是最常见的降维算法，通常用于数据压缩以及噪音过滤
比如我们可以通过PCA将100维的向量最后用10维来表示，那么压缩率为90%，同时还可以保证数据的特性损失尽可能的小
在详细展开讲之前，先了解一下几个基本数学符号的定义：
x^{i} 表示第i个样本数据（这个数据是一个N维向量）
x_{j}^{i} 表示第i个样本的第j个特征
x_{j} 表示由所有样本数据的第j个特征变量组成的一个向量
了解这些数学符号的定义非常重要，否则后面的推导公式很容易混乱
假设我们有一个n维的样本数据集 D = (x^{(1)}, x^{(2)}, ..., x^{(m)})，其中每一个数据都是n维的 x^{(i)} = \{x_1^i, x_2^i, ..., x_n^i\}，我们要把维度从n维降到k维：
距离上一次安装黑苹果，已经3年过去了。第一次安装的时候作为一个新手，参考网上教程，整个安装过程顺利的让我这种小白都震惊了，x230 不愧是为黑苹果而生的一个本本
但是后来因为网卡问题，安装后就没有继续用了，切记！使用黑苹果千万别用usb网卡，那真是非常蛋疼，能上网但是进不去 app store 的，因为 app store 必须要求网卡BSD名字是en0。虽然有一些魔改的教程，但是成功率不高，不建议尝试，比较浪费时间
x230 上黑苹果能用的网卡主流是2种，一种是AR9285，一种是BCM94352，BCM的高级很多，AR的最傻瓜凑合用。我淘了一个AR的把原装网卡换掉了。接下来准备开始安装黑苹果，但是这次就没那么顺利了，为了防止下一次继续掉坑，记录了一下安装过程需要特别注意的一些地方
安装黑苹果的过程可以分为4大块
其中网上大部分傻瓜教程或者视频，都是讲2-4，但其实1非常关键，你看那些教程视频装个黑苹果跟装个Windows似的，因为很多前置的坑都填了（就比如BIOS参数），当然是看着很简单了。
int invalidate_inode_page(struct page *page)
{
struct address_space *mapping = page_mapping(page);
if (!mapping)
return 0;
if (PageDirty(page) || PageWriteback(page))
return 0;
if (page_mapped(page))
return 0;
return invalidate_complete_page(mapping, page);
}
struct address_space *page_mapping(struct page *page)
{
struct address_space *mapping;
page = compound_head(page);
/* This happens if someone calls flush_dcache_page on slab page */
if (unlikely(PageSlab(page)))
return NULL;
if (unlikely(PageSwapCache(page))) {
swp_entry_t entry;
entry.val = page_private(page);
return swap_address_space(entry);
}
mapping = page->mapping;
if ((unsigned long)mapping & PAGE_MAPPING_ANON)
return NULL;
return (void *)((unsigned long)mapping & ~PAGE_MAPPING_FLAGS);
}
原文：https://zhuanlan.zhihu.com/p/79030485
从事分布式深度学习相关工作的同学，应该都频繁地用到了AllReduce（规约）操作。
但是对于训练框架中集成的AllReduce相关操作，其背后实现的原理是什么？
除了最近几年名声大噪的Ring AllReduce是否还有其他的AllReduce算法？
他们各自的性能开销如何？如何取舍？
本文尝试从一个较为全面的角度来展现AllReduce算法的前世今生，既分析经典算法，也介绍发展中的新秀。
其实说到AllReduce，很多人脑海里的第一反应都是MPI_AllReduce。作为集合通信中的元老，和高性能计算领域的通信标准，在MPI_AllReduce这个通信原语背后，MPI中实现了多种AllReduce算法。
以openMPI源码为例，里面实现了多种allreduce的算法。具体的算法选择在
ompi/mca/coll/tuned/coll_tuned_decision_fixed.c
