原文链接：https://zhuanlan.zhihu.com/p/29360425

正则化（Regularization）是机器学习中一种常用的技术，其主要目的是控制模型复杂度，减小过拟合。最基本的正则化方法是在原目标（代价）函数 中添加惩罚项，对复杂度高的模型进行“惩罚”。其数学表达形式为：

式中 、 为训练样本和相应标签， 为权重系数向量； 为目标函数， 即为惩罚项，可理解为模型“规模”的某种度量；参数 控制控制正则化强弱。不同的 函数对权重 的最优解有不同的偏好，因而会产生不同的正则化效果。最常用的 函数有两种，即 范数和 范数，相应称之为 正则化和 正则化。此时有：

本文将从不同角度详细说明 、 正则化的推导、求解过程，并对 范数产生稀疏性效果的本质予以解释。