学SVM的时候你会经常听到拉格朗日对偶。拉格朗日对偶是凸优化问题中比较常见的一个手段，关于凸优化，强烈建议Boyd的《凸优化》这本书，总结的很好

lagrange 对偶的基本思想，是将原目标函数，通过对其约束条件的加权求和，变成一个广义的目标函数。从而将一个M个变量N个约束的目标函数转换成一个M+N个变量的目标函数，再得到这个函数的对偶函数

这个对偶函数非常有用，因为他有几个重要性质：

1. 无论原始问题是不是凸的，对偶问题一定是凸的，可以证明
2. 对偶问题给出了原始问题的一个下界，可以证明
3. 当满足一定条件时，对偶问题的解和原问题的解是等价的，可以证明

线性回归：2 – 2 – Cost Function (8 min).mkv

逻辑回归：6 – 4 – Cost Function (11 min).mkv

在看吴恩达的机器学习教程时，逻辑回归的代价函数怎么来的一开始没看懂，后来想了一下想明白了，记录一下

我们都知道，线性回归（不管是单变量还是多变量）

很多时候我们有一堆数据，并且也知道数据的基本模型，但是不知道模型的参数是什么。这是基本的机器学习过程，这个过程就叫参数估计

比如我们现在就有一堆数据，模型是y = \beta_0 x + \beta_1 + \xi = \beta^T X + \xi，我们要求\beta

常见的计算\beta的手段有：

1. 最小二乘法
2. 最大似然估计
3. 最大后验估计
4. 贝叶斯估计

但是这几种估算方法的背后，其实代表了两类学术派别，也就是大家学习贝叶斯的时候经常听到的，频率学派和贝叶斯学派

今天来捋捋这两种学派的区别和联系

线性回归产生的预测值y=\theta^T x是实值，而逻辑回归通常是要解决分类问题。用线性回归来解决分类问题效果是很差的

分类问题在生活中是很常见的，二项逻辑回归模型有如下的条件概率分布

1. 成功概率：P(Y=1|X) = \frac {1}{1+e^{-\theta^T x}}
2. 失败概率：P(Y=0|X) = 1- \frac {1}{1+e^{-\theta^T x}}

之前我在讲理解最大似然估计 http://0fd.org/2017/06/10/understand-the-maximum-likelihood-estimation/ 的时候，讲了两个例子，不过都很简单，今天来讲讲怎么用最大似然估计来求解线性回归方程，不管是一元还是多元

线性回归方程如下：

y = \theta_1 x_1 + ... + \theta_n x_n = \sum_{i=1}^{n} \theta_i x_i

现在假设我们有 m 组样本数据，(y^1, x_{(1 \sim n)}^1), (y^2, x_{(1 \sim n)}^2), ..., (y^m, x_{(1 \sim n)}^m)，我们怎么用最大似然估计来求解\theta呢？

神说，要有正态分布，就有了正态分布。

神看正态分布是好的，就让随机误差服从了正态分布。

— 创世纪—数理统计

转载自：https://cosx.org/2013/01/story-of-normal-distribution-1

1. 正态分布，熟悉的陌生人

学过基础统计学的同学大都对正态分布非常熟悉。这个钟形的分布曲线不但形状优雅，它对应的密度函数写成数学表达式

\displaystyle f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{{(x-\mu})^2}{2\sigma^2}}

也非常具有数学的美感。其标准化后的概率密度函数

\displaystyle f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}

更加的简洁漂亮，两个最重要的数学常量 (\pi)、(e) 都出现在这公式之中。在我个人的审美之中，它也属于 top-N 的最美丽的数学公式之一，如果有人问我数理统计领域哪个公式最能让人感觉到上帝的存在，那我一定投正态分布的票。因为这个分布戴着神秘的面纱，在自然界中无处不在，让你在纷繁芜杂的数据背后看到隐隐的秩序。

机器学习中常见的分布其实有：

1. 伯努利分布
2. 二项分布
3. 泊松分布
4. 正态分布（高斯分布）

这几种分布之间其实是可以严格推导的，伯努利分布 -> 二项分布 -> 泊松分布 -> 正态分布。此外，前三种分布都属于离散分布，正太分布是连续分布

1. 伯努利分布

伯努利分布是单次随机实验，只有A和B两种结果，例如0和1，或者成功和失败，是由瑞士科学家雅各布·伯努利(1654 – 1705)提出来的，是最简单的离散型概率分布

在现实生活中，有很多类似的场景。例如：抛硬币，要么正面（国徽）要么反面（面值）；购买彩票，要么中奖要么没中奖；打篮球要么投中要么没投中。这些事件都可被称为伯努利试验

我们记伯努利分布成功的概率为 P, (0<=p<=1)，则失败的概率为Q = 1-P

其概率质量函数为：P(x)=p^x(1-p)^{1-x}

其期望值为：E(x)=\sum xP(x)=0 * q + 1 * p = p

其方差为：Var(x)=E[(x-E(x))^2]=\sum (x-p)^2P(x)=pq