月度归档： 2017 年 6 月

最大似然估计求解线性回归

Posted on by remaper in 数学基础

之前我在讲理解最大似然估计 http://0fd.org/2017/06/10/understand-the-maximum-likelihood-estimation/ 的时候，讲了两个例子，不过都很简单，今天来讲讲怎么用最大似然估计来求解线性回归方程，不管是一元还是多元

线性回归方程如下：

y = \theta_1 x_1 + ... + \theta_n x_n = \sum_{i=1}^{n} \theta_i x_i

现在假设我们有 m 组样本数据，(y^1, x_{(1 \sim n)}^1), (y^2, x_{(1 \sim n)}^2), ..., (y^m, x_{(1 \sim n)}^m)，我们怎么用最大似然估计来求解\theta呢？

理解最大似然估计

Posted on by remaper in AI - 算法, 数学基础

最大似然估计是传统机器学习里最常见的一种估计，简单来说，就是利用已知的样本结果，在确定模型的基础上，反推模型的参数

前面我们讲过泊努力分布、二项分布、泊松分布，都是日常生活中常见的模型。这些分布的模型就是他的概率函数，比如泊努力分布是单次实验，所以模型就是概率p，二项分布是P(X=i) = \binom{n}{i}P^i(1-P)^{n-1}，泊松分布的模型就是P(X=k) = \frac {\lambda^k} {k!} e^{-\lambda}

这里面有3个关键点：

  1. 样本已知
  2. 模型已知
  3. 每个样本都是一次完全独立事件的结果