机器学习 正则化（L1正则化 L2正则化）

正则化

正则化1. 正则化介绍2. 常见正则化方法2.1 0范数2.2 L1范数2.3 L2范数2.4 q-范数小结

正则化

1. 正则化介绍

正则化 (Regularization）

正则化是什么？

正则化（Regularization）是一类通过限制模型复杂度，从而避免过拟合，提高泛化能力的方法

PS(

传统的机器学习中，提高泛化能力的方法主要是限制模型复杂度，比如采用ℓ1 和ℓ2 正则化等方式．

在训练深度神经网络时，特别是在过度参数化（Over-Parameterization）时，ℓ1 和ℓ2 正则化的效果往往不如浅层机器学习模型中显著．

过度参数化是指模型参数的数量远远大于训练数据的数量．因此训练深度学习模型时，往往还会使用其他的正则化方法，比如数据增强、提前停止、丢弃法、集成法等．

)

正则化干什么用？

要让AI模型不过于信赖样本数据是的函数更加平滑，防止模型过拟合

小结：

为什么要正则化：让模型不要过于依赖样本数据正则化主要思想：降低模型的复杂度正则化主要目的：防止模型过拟合正则化实现思路：最小化损失Loss+ 最小复杂度正则化终极目标：提升模型泛化Generalization的能力

2. 常见正则化方法

正则化有不同的策略，目前来讲主要有参数正则化、经验正则化

参数正则的L2/L1 Regularization 范数正则化目前用的是最多的

正则化目的：对损失函数加上一个约束（也叫惩罚项），减小其解的范围

2.1 0范数

概念：L0范数是指向量中非0的元素的个数。

2.2 L1范数

概念：L1范数是指向量中各个元素绝对值之和。

对于向量：

对于矩阵：

特点：

ℓ1 范数．ℓ1 范数的引入通常会使得参数有一定稀疏性缺点：优化的慢

2.3 L2范数

概念：L2范数是指向量各元素的平方和然后求平方根。

对于向量：

对于矩阵：

特点：

相对于L1正则化，L2正则化收敛的更加快一点。L2 正则化能够得到比较小的参数，小到可以被忽略，但是无法小到0，也就不具有稀疏性

2.4 q-范数

概念：向量元素绝对值的q次幂的累加和再1/q次幂

小结

不同范数q对应的曲线 ：

对应三维图：

如果觉得《机器学习 正则化（L1正则化 L2正则化）》对你有帮助，请点赞、收藏，并留下你的观点哦！