LASSO的解法

LASSO十分有用，但因为它的赏罚项不能够惯例地进行求导，使得很多人以为它无法显式地求出解析解。但其实并不是这样的。

1 单变量景象：软阈值法

1.1 软阈值的分类谈论

将$N$个样本的真矩阵计算器实值记为$N$维向量$y$，将$N$个样本变量类型有哪些的自变量记为$z$，假定咱们现已将自变量做过标准化，即z′ℓn=0z’ ell_n=0z′ℓn​=0，z′z/N=1z’z/N=1z′z/N=1，这也意味着在LAS算法设计与剖析SO模型中截距项为$0$。系数beta是要优化的参数，赏罚项参数为$>0$。

LASSO便是要求解

忽略常数项后，上式等价于

将矩阵乘法丢掉函数写变量成分段矩阵天王函数矩阵游戏办法变量类型有哪些：

分类谈论：

• 若y′zN>dfrac{y’z}{N}gt lambdaNy′z​>，则f1(算法的时刻复杂度取决于)>0f_1(beta) gt 0f1​()>0，f2()f_2(beta)变量泵f2​()在^=y′zN−hatbeta=dfrac{y矩阵‘z}{N}- lambda^​=Ny′z​−处取到最小值f2(^)<0f_2(hatbeta)lt 0f2​(^​)<0，因而解为^=y′zN−hatbeta=dfrac{y’z}{N}- lambda^​=Ny′z​−；
• 若∣y′zN∣≤left|dfrac{y’z}{N}right|leq lambda∣∣∣∣∣​Ny′z​∣∣∣∣∣​≤，则f1()≥0f_1(beta) geq 0f1​()≥0，f2()≥0f_2(beta) geq 0f2​()≥0，且在^=0hatbeta变量名=0^​=0处有f1(^)=f2(^矩阵等价)=0f_1(hatbeta)=f_2(hatbeta)=0f1​(^​)=f2算法流程图​(^​)=0，因而解为^=0hatb变量英文eta=0^​=0；
• 若y′zN<−变量dfrac{y’z}{N}lt -lambdaNy′z​<−，则f2()>0f_2(beta) gt 0f2​()>0，f1()f_1(beta)f1​()在^=y′zN+hatbeta=算法的时刻复杂度取决于dfrac{y’z}{N}+lambda^​=Ny′z​+处取到最小值f1(^)<矩阵的逆0f_1(hatbeta)lt 0f1变量是什么意思​(^​)<0，因而解为^=y′zN+hatbeta=变量与函数dfrac{y’z}{N}+la变量的指针其意义是指该变量的mbda^​=Ny′z​+。

运用软阈值算子（soft-thresholding operator）S(x)=sign(x)(∣x∣−)+S_lambda(x)=变量类型有哪些text{sign}(x)(|x|-lambda)_+S​(x)=sign(x)(∣x∣−)+​，可将以上三种解一致为

其实在咱们的设定下变量，OLS估计量为~=y′z/Ntildebeta=y’z/N~​=y′z/N，因而，将OLS估矩阵等价计量矩阵相乘怎样算经过一个软阈值算子的操作，就变成了LASSO估计量。

1.2 次梯变量是什么意思度

假定引入次梯度（subgradient）的概念，能够更直接地求解$(1)$式。设$||$的次梯度为$s\in \text{sign}()$，它的办法是，当$\ne 0$时有$s=\text{sign}()$，当$=0$时有$s\in [-1,1]$。根据凸优化（convex optim算法流程图ization）理论，求解$(1)$相当于求解

的解(^,^)(hatbeta,hatlambda)(^​,^)。化简后得到y′z/N=+矩阵s∈+sign()y’z/N = beta+lambda sinbeta+lambda text{sign}(beta)y′z/N=+s∈+sign()，毕竟同变量类型有哪些样能够解算法导论出^=S(y′z/N)hatbeta=S_lambda(y’z/N)^​=S​(y′z/N)。比如$=0$时，就意味着y′矩阵游戏z/N∈[−,]y’z/N in[-lambda,la矩阵mbda]y′z/N∈[−,]。

2 多变量景象：循变量类型有哪些环坐标下降法

咱们来看多变量的算法的五个特性完整版LASSO问题。将自变量排成$Np$的矩阵$X$，咱们要求解的是

在这儿，咱们运用循环坐标下降法（c变量的指针其意义是指该变量的ycli矩阵乘法c coordinate descent），它的思想是，按必定次序依次对$p$个参数进行优化，比如按$j=1,\dots ,p$的次序，在第$j$次优化时，坚持其他一切系数不变，改动j矩阵的逆beta_jj​使丢掉函数最小化。

根据以上思想，咱们将第$j$次的最优化政策写为

记r(j)=y−∑k≠jx⋅k^kr^{(j)}=y-sum_{kneq j}x_{cdot k}hat{b变量的定义eta}_k算法剖析的目的是r算法工程师(j)=y−∑k=j​x⋅k​^​k​，这称为partial residual，那么根据第1.1节中的成果，咱们能够得出

记r=r(j)−x⋅j^jr = r^{(j)}-x_{cdot j}hatbet变量英文a_jr=r(j)−x⋅j​^​j​，上式相当于更新规矩

因为政策函数是凸的，没有部分的极小值，因而，每次更新一个坐标，毕竟能够收敛到全局最优解。

Pathwise coordinate descent（算法的有穷性是指逐途径坐标下降）：能够先取一个使^=0hatbeta=0^​算法是什么=算法流程图0的最变量的指针其意义是指该变量的小的l算法的有穷性是指ambda，然后，稍微减小lambda的值，并以上一次得到的^hatbeta^​作为“warm变量的指针其意义是指该变量的 start”，用坐标下降法迭代直到收敛，不断重复这个进程，毕竟就能够得到在lambda的一系列改动范围内的解。

那么，怎样才能使^=0hatbeta=0^​=0？运用次梯度，咱们能够知道，关于^j=0hatbe变量是什么意思ta_j=0^​j​=0，必有x⋅j′y/N∈[−,]x_{cdot j}’y /N i矩阵的秩n [-lambda变量泵,lambda]x⋅j′​y/N∈[−,]，即要求≥∣x⋅j′y∣/Nlambda ge算法导论q |x_{cdot j}’y| /N≥∣x⋅j′算法的有穷性是指​y∣/N算法的时刻复杂度是指什么，若要使矩阵乘法整个^=0hatbeta=0^​=0，则可取=max⁡j∣x⋅j′y∣/Nlambda =max矩阵天王_j |x_{cdot j}’y| /N=maxj​∣x⋅j′​y∣/N，这便是使^变量与函数=0hatbeta=0^​=0的最小的lambda。

3 其他解法

求解LAS算法的有穷性是指SO还有其他的解法，如homotopy method，它能够从$0$初步，得到序列型的解的途径，途径是分段线性的。

还有LARS（least angle regression）算法，这是homotopy me算法的时刻复杂度是指什么th算法的五个特性od之一，能够有用得到分段线性途径。

这儿不作翻开。

4 正交基

在上面的进程中，假定将自变量正交化，能够大大简化核算。如在第2节中，假定自变量之矩阵等价间是正交的，则x⋅j′r变量是什么意思(j)/N=x⋅j′y/Nx_{cdot j}’ r^{(j)}/N = x_{cdot矩阵 j}’ y/Nx⋅j′​r(j矩阵游戏)/N=x矩阵的迹⋅j′​y/N，此时^jhatbeta_j^​j​便是将$y$对x⋅jx_{cdot j}x⋅j​做回归的OLS解，经过软阈值算子后的值。