L1和L2正則化優(yōu)化的區(qū)別

來源：懂視網(wǎng) 責(zé)編：小采時(shí)間：2020-11-19 06:23:38

L1和L2正則化優(yōu)化的區(qū)別

L1是模型各個(gè)參數(shù)的絕對(duì)值之和。L2是模型各個(gè)參數(shù)的平方和的開方值。L1會(huì)趨向于產(chǎn)生少量的特征，而其他的特征都是0，因?yàn)樽顑?yōu)的參數(shù)值很大概率出現(xiàn)在坐標(biāo)軸上，這樣就會(huì)導(dǎo)致某一維的權(quán)重為0，產(chǎn)生稀疏權(quán)重矩陣。L2會(huì)選擇更多的特征，這些特征都會(huì)接近于0。

推薦度：

點(diǎn)擊下載本文 文檔為doc格式

導(dǎo)讀L1是模型各個(gè)參數(shù)的絕對(duì)值之和。L2是模型各個(gè)參數(shù)的平方和的開方值。L1會(huì)趨向于產(chǎn)生少量的特征，而其他的特征都是0，因?yàn)樽顑?yōu)的參數(shù)值很大概率出現(xiàn)在坐標(biāo)軸上，這樣就會(huì)導(dǎo)致某一維的權(quán)重為0，產(chǎn)生稀疏權(quán)重矩陣。L2會(huì)選擇更多的特征，這些特征都會(huì)接近于0。

l1和l2正則化的區(qū)別是：

　　1、L1是模型各個(gè)參數(shù)的絕對(duì)值之和。L2是模型各個(gè)參數(shù)的平方和的開方值。

　　2、L1會(huì)趨向于產(chǎn)生少量的特征，而其他的特征都是0，因?yàn)樽顑?yōu)的參數(shù)值很大概率出現(xiàn)在坐標(biāo)軸上，這樣就會(huì)導(dǎo)致某一維的權(quán)重為0 ，產(chǎn)生稀疏權(quán)重矩陣。L2會(huì)選擇更多的特征，這些特征都會(huì)接近于0。

　　3、最優(yōu)的參數(shù)值很小概率出現(xiàn)在坐標(biāo)軸上，因此每一維的參數(shù)都不會(huì)是0。當(dāng)最小化||w||時(shí)，就會(huì)使每一項(xiàng)趨近于0。

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。TEL:0731-84117792 E-MAIL:11247931@qq.com

L1和L2正則化優(yōu)化的區(qū)別

推薦度：

點(diǎn)擊下載本文 文檔為doc格式

標(biāo)簽：有什么區(qū)別比較

熱門焦點(diǎn)

L1和L2正則化優(yōu)化的區(qū)別

L1和L2正則化優(yōu)化的區(qū)別

L1和L2正則化優(yōu)化的區(qū)別

最新推薦

猜你喜歡

熱門推薦