Voidful

這次我們來介紹下搜索引擎的原理，之後透過介紹下DPR(Dense Passage Retrieval for Open-Domain Question Answering)，動手嘗試DPR做開放式問答機器人的效果如何。

語音辨識到底在做什麼，這個模型的loss會怎麼樣設計？這裡會嘗試解答這些問題>

這篇文章將會解釋Transformer做文本生成的運作機制，透過一步步拆解運算過程來瞭解背後運作的步驟，希望讓大家更加清楚文本生成背後的事情。最後附上一個兩個Code展示GPT2做文本生成的實例，來看看怎麼樣用TPU訓練自己的GPT2。

這幾年的研究證明，一個好的預訓練方式可以讓你的模型事半功倍。究其原因，我們在訓練的網路基本上是在做兩件事情，將資料放到一個空間裡面，然後將其劃分開。

Have a look at the newest paper on EMNLP 2020, introducing each paper on problem/solution/result perspective.

主要內容

• 回顧RNN的一系列模型
• 介紹Transformer出現的經歷
• 理解attention的QKV
• 介紹Transformer近期的發展

Bert以及之後的論文，都會在資料上玩各種花樣，使得self-supervised learning學到的representation更加強大
Hinton的SimCLR以及後續的論文提供了一個新的方向 - 直接在representation上動手，用不同的方法加噪聲
最終學到的representation也是十分強大，無監督模型還可以接近有監督模型的結果！
這或許預示了self-supervised learning的新方向！

SimCLR - A Simple Framework for Contrastive Learning of Visual Representations
SimCLRv2 - Big Self-Supervised Models are Strong Semi-Supervised Learners
BYOL - Bootstrap Your Own Latent A New Approach to Self-Supervised Learning
本文會從以上三篇論文出發,介紹下最近self-supervise learning的一個新方向。

前言
這個系列將會介紹最近研討會的成果，大量地介紹論文，看看他們在解決甚麼問題，有什麼新奇的方法，結果如何。
本篇會介紹以下的論文:
Dice Loss for Data-imbalanced NLP Tasks
Improved Natural Language Generation via Loss Truncation
A Simple, Fast Diverse Decoding Algorithm for Neural Generation

前言
這個系列將會介紹最近研討會的成果，大量地介紹論文，看看他們在解決甚麼問題，有什麼新奇的方法，結果如何。
本篇會介紹以下的論文:
A Unified MRC Framework for Named Entity Recognition
DeFormer: Decomposing Pre-traicned Transformers for Faster Question Answering
Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension
Improving Truthfulness of Headline Generation
Asking and Answering Questions to Evaluate the Factual Consistency of Summaries
FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization
FastBERT: a Self-distilling BERT with Adaptive Inference Time
DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference
The Right Tool for the Job: Matching Model and Instance Complexities

事因小弟找不到實習，看來最近工作難找，該發展一下副業賺點錢了
恰好在GITHUB裡面看到一個做周公解夢的Repo，輸入夢境，然後用文本生成的方式輸出其中的預兆。
說起來，AI + 玄學 = 負負得正！！！！這件事情十分合理
我就做一個albert解夢，然後在夜市找個位置，擺個攤位，價格低廉，說不定就年收百萬了(誤)