正則化l1和l2的區(qū)別

l1和l2正則化的區(qū)別是：

　　1、L1是模型各個(gè)參數(shù)的絕對(duì)值之和。L2是模型各個(gè)參數(shù)的平方和的開方值。

　　2、L1會(huì)趨向于產(chǎn)生少量的特征，而其他的特征都是0，因?yàn)樽顑?yōu)的參數(shù)值很大概率出現(xiàn)在坐標(biāo)軸上，這樣就會(huì)導(dǎo)致某一維的權(quán)重為0 ，產(chǎn)生稀疏權(quán)重矩陣。L2會(huì)選擇更多的特征，這些特征都會(huì)接近于0。

　　3、最優(yōu)的參數(shù)值很小概率出現(xiàn)在坐標(biāo)軸上，因此每一維的參數(shù)都不會(huì)是0。當(dāng)最小化||w||時(shí)，就會(huì)使每一項(xiàng)趨近于0。

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com