很多时候我们有一堆数据，并且也知道数据的基本模型，但是不知道模型的参数是什么。这是基本的机器学习过程，这个过程就叫参数估计

比如我们现在就有一堆数据，模型是y = \beta_0 x + \beta_1 + \xi = \beta^T X + \xi，我们要求\beta

常见的计算\beta的手段有：

1. 最小二乘法
2. 最大似然估计
3. 最大后验估计
4. 贝叶斯估计

但是这几种估算方法的背后，其实代表了两类学术派别，也就是大家学习贝叶斯的时候经常听到的，频率学派和贝叶斯学派

今天来捋捋这两种学派的区别和联系

线性回归产生的预测值y=\theta^T x是实值，而逻辑回归通常是要解决分类问题。用线性回归来解决分类问题效果是很差的

分类问题在生活中是很常见的，二项逻辑回归模型有如下的条件概率分布

1. 成功概率：P(Y=1|X) = \frac {1}{1+e^{-\theta^T x}}
2. 失败概率：P(Y=0|X) = 1- \frac {1}{1+e^{-\theta^T x}}

之前我在讲理解最大似然估计 http://0fd.org/2017/06/10/understand-the-maximum-likelihood-estimation/ 的时候，讲了两个例子，不过都很简单，今天来讲讲怎么用最大似然估计来求解线性回归方程，不管是一元还是多元

线性回归方程如下：

y = \theta_1 x_1 + ... + \theta_n x_n = \sum_{i=1}^{n} \theta_i x_i

现在假设我们有 m 组样本数据，(y^1, x_{(1 \sim n)}^1), (y^2, x_{(1 \sim n)}^2), ..., (y^m, x_{(1 \sim n)}^m)，我们怎么用最大似然估计来求解\theta呢？

神说，要有正态分布，就有了正态分布。

神看正态分布是好的，就让随机误差服从了正态分布。

— 创世纪—数理统计

转载自：https://cosx.org/2013/01/story-of-normal-distribution-1

1. 正态分布，熟悉的陌生人

学过基础统计学的同学大都对正态分布非常熟悉。这个钟形的分布曲线不但形状优雅，它对应的密度函数写成数学表达式

\displaystyle f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{{(x-\mu})^2}{2\sigma^2}}

也非常具有数学的美感。其标准化后的概率密度函数

\displaystyle f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}

更加的简洁漂亮，两个最重要的数学常量 (\pi)、(e) 都出现在这公式之中。在我个人的审美之中，它也属于 top-N 的最美丽的数学公式之一，如果有人问我数理统计领域哪个公式最能让人感觉到上帝的存在，那我一定投正态分布的票。因为这个分布戴着神秘的面纱，在自然界中无处不在，让你在纷繁芜杂的数据背后看到隐隐的秩序。