Voidful

技術都不是突然之間出現的
在外面熟悉的word2vec誕生之前，到底發生了什麽？
是什麽引導到word2vec的提出呢？
在這裏，我們一步步看下這段歷史的過程，代入設計者的思維，對於之後的理解相信會有不少幫助~

最近這段時間，新出了不少很強大的NLP模型，比如elmo bert gpt xlnet什麼的
這些模型刷著各種榜單，萬用又強大
但當你跑去實作，就會悲慘地將batch size越調越小。也感慨自己3GB的1060實在是雞肋，硬件資源不足之下，可以說是與這些酷炫模型緣分不足。
其實在資源的限制下，我們還有不少的方法也可以達到不錯的效果，比如之前很熱門的Word2Vec

Bert出來好一段時間，使用過程中或多或少會有一些疑問：

• 如果不做finetune而是傳統的方法會怎麼樣？
• 只拿最後一層真的是最好的選擇嗎？
• bert在中文上怎麼樣可以做到更好？
• 超過512個字應該怎麼樣處理？
• bert可以做文本生成嗎？
• Bert做多任務?
• Bert可以用在什麽Task上面呢？
• MaskLM和NextSentencePrediction兩種訓練方式應該怎麼關聯到我們的任務上？

在此希望對這些問題探討看看~

來自Allen AI 的 The Curious Case of Neural Text Degeneration
來自Huggingface 的 transfer-learning-conv-ai

來自OpenAI GPT-2 的 Language Models are Unsupervised Multitask Learners
來自OpenAI的 Generative Modeling with Sparse Transformers

Multi-Task Deep Neural Networks for Natural Language Understanding

Real-time Personalization using Embeddings for Search Ranking at Airbnb
2018 KDD Best Paper

試想一下，我們在Airbnb上要預定房間，通常結果都是眼花繚亂，一個個點擊查看會花費大量時間成本。
爲了減少查找的麻煩，點選了一個房源後，提供相關的推薦，如 :
當前選擇的房源 : 30塊的海景房。
推薦列表可以有 其他便宜的海景房，或者 海景很好的中價位房。
推薦列表越貼合我的喜好，能讓我越快找到自己想要的房源。

前言：
這是寫給對機器學習和神經網絡有初步認識，但覺得雲裏霧裏，想要深入瞭解的讀者
希望能用盡可能簡單卻不失深度的數學去釐清整個過程

前言：
這是寫給對機器學習和神經網絡有初步認識，但覺得雲裏霧裏，想要深入瞭解的讀者
希望能用盡可能簡單卻不失深度的數學去釐清整個過程

前言：
這是寫給對機器學習和神經網絡有初步認識，但覺得雲裏霧裏，想要深入瞭解的讀者
希望能用盡可能簡單卻不失深度的數學去釐清整個過程