我们可以使用拉格朗日乘子法将1/2||W||²的最小化问题转化为minmax问题。
首先,我们考虑以下的最小化问题:
minimize 1/2||W||²
subject to yᵢ(w⋅xᵢ + b) – 1 ≥ 0, for all i
其中,yᵢ是第i个样本的标签,xᵢ是第i个样本的特征向量,w是我们要求解的权重向量,b是偏置项。
我们可以使用拉格朗日乘子法将上述问题转化为以下的minmax问题:
minimize L(W, b, α) = 1/2||W||² – ∑ αᵢ[yᵢ(w⋅xᵢ + b) – 1]
subject to αᵢ ≥ 0, for all i
其中,α是拉格朗日乘子向量。
我们可以通过对L(W, b, α)关于W和b求导数,并令其等于0,得到W和b的解析解:
W = ∑ αᵢyᵢxᵢ
∑ αᵢyᵢ = 0
我们可以将W代入L(W, b, α)中,得到以下的对偶问题:
maximize L_D(α) = ∑ αᵢ – 1/2∑∑ αᵢαⱼyᵢyⱼxᵢ⋅xⱼ
subject to αᵢ ≥ 0, for all i
∑ αᵢyᵢ = 0
其中,α是拉格朗日乘子向量。
我们可以通过求解对偶问题得到α的解析解,然后再通过W = ∑ αᵢyᵢxᵢ计算出W的解析解。
因此,我们可以将1/2||W||²的最小化问题转化为minmax问题。