什么叫L1范数,什么叫L2范数

L1范数和L2范数是向量的范数(norm)的两种不同计算方式。

  1. L1范数(曼哈顿范数)

    在二维空间中,L1范数等于向量元素的绝对值之和,也可以表示为从原点到向量所在点的曼哈顿距离。

  2. L2范数(欧几里得范数)

    在二维空间中,L2范数等于向量元素平方和的平方根,也可以表示为从原点到向量所在点的欧几里得距离。

在正则化中,L1范数和L2范数经常被用作正则化项的一部分,以控制模型的复杂度。L1正则化倾向于使权重稀疏(即某些权重为零),因此可以用于特征选择。L2正则化通过惩罚大的权重,有助于防止过拟合。