雲山霧罩的雲霧提示您：看後求收藏（貓撲小說www.mpzw.tw），接着再看更方便。
林楓心說，自己這是一不小心站在了技術發展的最前沿了嗎？
不得不說，這種舉手投足之間就能影響時代命運的感覺是真的無比美妙。
“梯度消失的問題一直存在，尤其是深層網絡。梯度爆炸倒是相對好解決，但梯度消失會直接導致學習過程停滯不前。”林楓沉思片刻，補充道，“這不僅是你們實驗室的問題，也是整個領域的瓶頸。反向傳播的基本原理決定了，當信號在網絡中層層傳遞時，梯度的變化會以指數級縮小。”
馬庫斯腦海中泛起了大大的問號，梯度爆炸問題好解決嗎？
他怎麼覺得梯度爆炸問題也挺麻煩的？
不過聊天本來就是求同存異，既然林同樣認爲梯度消失難以解決就夠了。
馬庫斯也沒糾結爲什麼林說梯度爆炸容易解決，而是繼續就梯度消失發表觀點說道：“是啊，哪怕有了ReLU（修正線性單元）激活函數的引入，雖然能在一定程度上減輕梯度消失，但對深層網絡還是不夠。”
林楓想了想，說道：“你們有考慮過改進網絡結構嗎？”
喜歡不朽從二零一四開始請大家收藏：www.xiakezw.com不朽從二零一四開始
