雲山霧罩的雲霧提示您：看後求收藏（貓撲小說www.mpzw.tw），接着再看更方便。
林楓意識到自己可能正站在改變這一切的關鍵時刻。
“激活函數的優化確實重要，”林楓淡淡說道，“但我說的改進，更多是指在網絡層次的設計上。你有沒有想過，深層網絡的問題不只是梯度傳遞不下去，而是信息本身也無法有效傳播？信號在一層層中傳遞時，逐漸丟失了原本的重要信息，等到最後幾層時，網絡幾乎是在‘盲目學習’。”
“這個道理我懂，”馬庫斯點了點頭，“但我們已經嘗試了很多調整，比如增加跳層連接、在特定層使用更強的正則化，甚至嘗試了不同的初始化方法，效果依舊有限。”
林楓暗自一笑，跳層連接？
看樣子馬庫斯已經有了些殘差網絡的雛形思想，但還沒觸及真正的核心。
“你們是朝着正確的方向走的，”林楓說道，眼神中透着些許不易察覺的自信，“但或許你們忽略了一個更關鍵的概念。網絡越深，信息傳遞的阻礙就越大，而如果我們在每幾層之間構建直接的‘捷徑’，讓信息不必層層傳遞，而是能夠跨越幾層直接回到前面的層，這樣就能有效解決梯度消失的問題。”
“直接跨層？這……”馬庫斯有些困惑，“你的意思是跳過中間的層，讓前面的輸出直接輸入到後面的層？這樣網絡的非線性特徵不就被打破了嗎？”
“NO,no,no”林楓輕輕搖頭，“這種跨層連接並不是要完全替代中間層，而是讓信息能夠‘繞過’那些不必要的損失點，從而減少梯度消失的機會。中間的層依然存在，依然發揮作用，但跳過的這些連接能夠保證信息傳遞的穩定性。你可以把它想象成是給網絡‘加了一層保險’，避免重要信息在傳遞中被淹沒。”
馬庫斯聽得眼前一亮，這個思路與他們之前討論的跳層連接確實有些相似，但林楓描述的更爲徹底。“跨層連接”和“跳層連接”不再只是簡單的嘗試，而是建立起一種全新的信息傳遞方式。
