NLP 領域發展的三個主要階段
- 1.Word Embedding
• Word2Vec
• GloVe - 2.使用RNN及改進
• LSTM/GRU
• Seq2Seq
• Attention/Self-Attention - 3.語義 Word Embedding
• ELMo
• OpenAI GPT
• BERT
深度遷移學習的目的
- 解決 Word Embedding 不足
- 充分利用無標註的數據
- 能夠在NLP任務中也用上更深的模型
設計模型從無標註數據中學習到複雜的上下文表示成爲主要方向。
01 綜述 Opal 是愛奇藝大數據團隊研發的機器學習平臺,包含特徵生產、樣本構建、模型訓練、模型部署在內的多環節 Bigdata + AI 開發服務,內置多種訓練鏡像、