雲山霧罩的雲霧提示您：看後求收藏（貓撲小說www.mpzw.tw），接着再看更方便。
梯度爆炸就像從懸崖邊滾下去，梯度變得很大，網絡的學習變得過於劇烈，結果會非常不穩定，訓練過程變得不可控。
這兩個問題經常會出現在深層神經網絡中。
而這也是馬庫斯所要傾訴的困擾。
“說起來，最近的研究還卡在了‘梯度消失’的問題上。”馬庫斯苦笑着說道，靠在沙發上，“我們在訓練一些更深層次的神經網絡時，發現模型一旦超過一定的深度，反向傳播算法中的梯度會逐漸趨近於零，根本無法有效更新權重。深度越大，梯度就越容易消失，整個網絡的學習效率大幅下降。”
馬庫斯知道林楓碩士是麻省理工學院的計算機碩士，因此也就全都用專業術語表述了。
對於這些林楓當然能聽明白，非但能聽明白，而且作爲一個資深的人工智能從業人員。
林楓也清楚知道馬庫斯面臨的難題。
林楓對AI的發展也有所瞭解，涉及到梯度問題在2014年是深度學習研究中的一個巨大挑戰。
甚至可以說解決不了梯度問題就很難有真正的深度學習，也就不會有後來的人工智能成果的一系列井噴。
