雲山霧罩的雲霧提示您:看後求收藏(貓撲小說www.mpzw.tw),接着再看更方便。
在神經網絡裏,梯度消失的問題就是這種感覺,網絡不知道該如何繼續改進。
而梯度爆炸又是另外的一個極端。
假設這次你站在一座非常陡的懸崖邊,一不小心就滾下去了!
因爲坡度太陡了,你的速度變得非常快,失控了。
在神經網絡中,這種情況也被稱爲“梯度爆炸”
當梯度太大時,參數的調整會變得過於劇烈,網絡的學習變得不穩定,甚至會導致訓練失敗。
這就像你在陡峭的懸崖邊滑落,一下子失去了控制。
網絡的參數變化過大,導致結果變得很不穩定,甚至完全錯誤。
概括地說:
梯度消失就像在一座越來越平的山坡上,梯度變得很小,神經網絡不知道該怎麼調整,進而學習變得很慢,甚至無法進步。