close
原標題：【Manning主講】斯坦福CS224n深度學習與NLP課程全部視頻、PPT
1 新智元編譯
來源：cs224n.stanford.edu
編輯：劉小芹
【新智元導讀】斯坦福大學CS224n（全稱：深度學習與自然語言處理）是自然語言處理領域很受歡迎的課程，由 Chris Manning 和 Richard Socher 主講。本課程所有教學視頻和課程材料同樣在網上開放可得，新智元帶來每課內容簡介。
全部課程視頻（英文字幕）：http://t.cn/R6RGxtR
所有課程資料、PPT等：http://web.stanford.edu/class/cs224n/
課程描述
講師和助教團隊
自然語言處理（NLP）是信息時代最重要的技術之一，理解復雜的人類話語也是人工智能的重要任務。NLP的應用無處不在，因為人們的日常生活大部分都需要語言交流，例如網頁搜索、廣告、電子郵件、客戶服務、語言翻譯，電臺廣播等。為NLP的應用賦能的有大量廣泛的底層任務和機器學習模型。最近，深度學習的方法在許多NLP任務中獲得瞭非常好的性能。這些模型通常可以通過單個端到端的模型進行訓練，並且不需要傳統的任務特定的特征工程。
在今年春季的NLP課程中，我們將學習實現，訓練，調試，可視化和創建自己的神經網絡模型。這門課程為深入學習NLP應用的前沿研究提供瞭深入的探索。課程最後的項目將涉及訓練復雜的循環神經網絡並將其應用於大型NLP問題。在模型方面，我們將涵蓋詞向量表示，基於窗口的神經網絡，循環神經網絡，長短期記憶模型，遞歸神經網絡，卷積神經網絡以及一些涉及 memory component 的非常新的模型。通過講座和編程任務，學生將學會令神經網絡在實際問題上工作的必要工程技巧。
先修要求
熟悉 Python 編程語言
大學微積分，線性代數（例如MATH 19或41，MATH 51）
基本概率和統計知識（例如 CS109 或其他統計課程）
CS229（機器學習）的同等知識
推薦掌握
自然語言處理的相關知識（CS224N 或 CS224U）
凸優化
卷積神經網絡知識（CS231n）
內容簡介
第1講：自然語言處理與深度學習
第1講介紹瞭自然語言處理（NLP）的概念和當前的NLP研究面臨的問題，然後介紹將詞表示為數字向量的概念，以及設計詞向量的流行方法。
關鍵詞：自然語言處理、詞向量、奇異值分解、skip-gram模型、 連續詞袋模型（Continuous Bag-Of-Words，CBOW）、負采樣、 Hierarchical Softmax、Word2Vec
第2講：詞向量表示：word2vec
第2講繼續討論詞向量的概念，以及流行的設計詞向量的方法。
第3講 | GloVe：用於詞匯表示的全局向量
第3講介紹瞭用於訓練詞向量的 GloVe 模型。本講接著通過觀察如何評估詞向量（又稱詞嵌入）來拓展對它的理解。作為評估技術的一種，接著我們討論瞭詞的類比問題（word analogies），以及如何利用類比來調整詞嵌入。然後我們討論瞭訓練模型的權重/參數，以及外部任務的詞向量。最後，我們鼓勵用人工神經網絡作為自然語言處理任務的一類模型。
關鍵詞：GloVe、內部和外部評估、超參數對類比評估任務的影響、人類判斷與詞向量距離的相關性、使用上下台中馬桶不通文處理歧義、窗口分類
第4講：詞窗口分類和神經網絡
第4講介紹瞭單層和多層神經網絡，以及如何它們進行分類任務。
關鍵詞：神經網絡、前向計算、反向傳播、神經元單元、最大邊界損失、梯度檢查、Xavier參數初始化、學習率、Adagrad
第5講：反向傳播與項目建議
第5講討論瞭如何使用反向傳播這一分佈式梯度下降技術來訓練神經網絡。
第6講：依存分析
台中通馬桶價錢
第6講討論依存分析，這是給定一個輸入句子S，分析其句法依存結構的任務。依存分析器的輸出是一個依存關系樹，其中輸入句子的詞匯與依存關系類型相關聯。
關鍵詞：依存分析
第7講：TensorFlow簡介
第7講介紹瞭TensorFlow。TensorFlow是一個開源軟件庫，用於使用數據流圖（data flow graphs）進行數值計算。它最初由谷歌大腦團隊開發，用於進行機器學習和深度神經網絡研究。
關鍵詞：TensorFlow
第8講：循環神經網絡和語言模型
第8講介紹傳統語言模型、RNN，以及RNN語言模型。本講還回顧瞭一些重要的訓練問題和技巧，用於其他序列任務的RNN，以及雙向RNN（bidirectional RNNs）和deep RNNs。
第9講：機器翻譯、LSTM和GRU
第9講回顧瞭前部分課程的重要概念，機器翻譯的概念，以及用RNN模型處理機器翻譯。
關鍵詞：語言模型、RNN、雙向RNN、deep RNN、GRU、LSTM
第10講：神經機器翻譯和註意力模型
第10講介紹瞭翻譯、機器翻譯和神經機器翻譯，重點介紹谷歌的新 NMT模型，以及基於註意力的序列模型和序列模型解碼器。
第11講：門控循環單元和NMT
第11講介紹瞭GRAT / LSTM之類的門控循環單元，然後介紹機器翻譯的評估，處理大量詞匯輸出，以及 sub-word 模型和 character-based 模型。
關鍵詞：Seq2Seq、註意力機制、神經機器翻譯，語音處理
第12講：語音處理的端到端模型
第12講介紹傳統語音識別系統和端到端模型，包括CTC模型（ Connectionist Temporal Classification）和LAS（Listen Attend and Spell），這是一種用於語音識別的序列到序列模型。
第13講：卷積神經網絡
第13講提供瞭Azure和GPU的一個小教程，然後介紹“Character-Aware Neural Language Models”。本講還提到CNN的一些變體，以及比較瞭 BoV、RNN、CNN這些句子模型。
第14講：樹遞歸神經網絡和parsing分析
第14講介紹瞭語義合成性（compositionality）和結構預測，利用一個簡單的樹RNN：parsing。重點介紹“對話生成的深度強化學習”。
關鍵詞：RNN、遞歸神經網絡、MV-RNN台中包通馬桶、RNTN
第15講：指代消解（Coreference Resolution）
第15講通過一個實例來介紹什麼是指代（coreference），涉及的研究是“Summarizing Source Code”，這一研究介紹瞭指代消解和神經網絡指代消解。
第16講：用於問題回答的動態神經網絡
第16講介紹瞭“是否所有NLP任務都可以被視為問答問題”這一問題。
關鍵詞：指代消解、動態神經網絡
第17講：NLP中的重要問題和NLP的架構
第17講介紹瞭高效樹遞歸模型SPINN和SNLI，重點介紹“Learning to compose neural networks for QA”這一研究。
第18講：NLP中深度學習的局限性
第18講討論瞭NLP中深度學習的局限，提供瞭一些presentations。返回搜狐，查看更多
責任編輯：
聲明：本文由入駐搜狐號的作者撰寫，除搜狐官方賬號外，觀點僅代表作者本人，不代表搜狐立場。
閱讀 ()
台灣電動床工廠
電動床
台灣電動床工廠
電動床
AUGI SPORTS｜重機車靴｜重機車靴推薦｜重機專用車靴｜重機防摔鞋｜重機防摔鞋推薦｜重機防摔鞋
AUGI SPORTS｜augisports｜racing boots｜urban boots｜motorcycle boots
一川抽水肥清理行｜台中抽水肥｜台中市抽水肥｜台中抽水肥推薦｜台中抽水肥價格｜台中水肥清運
X戰警多鏡頭行車記錄器專業網｜多鏡頭行車記錄器｜多鏡頭行車紀錄器比較｜多鏡頭行車紀錄器推薦｜多鏡頭行車紀錄器影片
台中抽水肥專業網｜台中抽水肥｜台中市抽水肥｜台中抽水肥推薦｜台中抽水肥價格｜台中水肥清運
台灣靜電機批發工廠｜靜電機｜靜電機推薦｜靜電油煙處理機｜靜電油煙處理機推薦
優美環保科技工程-靜電機,靜電機推薦,靜電機保養,靜電機清洗,靜電油煙處理機
文章標籤
全站熱搜
留言列表
