漁雪提示您：看後求收藏（貓撲小說www.mpzw.tw），接着再看更方便。
只是，等到第二天，當吳恩達提出團隊在研發上的困惑時，激烈的辯論到來了。
易科是有“Siri”這樣的語音助手作爲人工智能的實踐，而吳恩達的團隊不僅在做卷積神經網絡CNN的研究，也在做循環神經網絡RNN的研究，他們認爲後者更適合與語音助手相結合，但效果並不算很好，完全達不到想要的成績。
問題出在哪裏？
吳恩達表述了困惑，也談了談易科內部的解決方向。
參會的一部分人贊同易科的解題思路，但谷歌方面卻出現了不同的聲音。
“爲什麼非要使用循環神經網絡？”谷歌的烏思克爾特本來正在休假，但因爲對DL的交流感興趣便報名過來，“爲什麼不試試自注意力Self-attention？我認爲它對NLP領域將會有更優秀的改變。”
“Self-attention可以進行更好的並行計算能力，而不是像RNN那樣進行順序處理，它還能直接比較序列中任意兩個位置的向量表示，這樣就能更有效的捕捉和利用長距離依賴關係，但RNN不行！”
“RNN雖然理論上也能捕捉長距離依賴，但實際上往往因梯度消失或爆炸問題而難以實現！”
烏思克爾特研究的是谷歌的機器翻譯改進方法，他的父親就是計算語言學的教授，儘管剛開始進入谷歌時對語言翻譯的工作很不喜歡，但最終還是專注於這一領域的研究，而他近期正在琢磨的便是“自注意力Self-attention”在相關領域的改善。
吳恩達很快明白這位谷歌研究員的意思，也在幾經思索後給予反駁：“自注意力沒有顯式地編碼位置信息，這就意味着如果以它爲核心的模型無法區分序列中相同詞語在不同位置的意義差異，而在自然語言的處理中，詞語的語義又與位置緊密相關。”
