實作少量資料，高效率一個找新詞的方法

最近有一篇論文，探討現在中文NLP還需不需要斷詞
《Is Word Segmentation Necessary for Deep Learning of Chinese Representations? 》
發現在深度學習中以字建立的模型比以詞建立的模型結果要好。但詞模型的表現不好，有原因是因爲沒有解決Out of vocabulary word(OOV，新詞)的問題。加上現在還有應用是基於詞來分析的 - 比如說討論區熱點，詞雲等……
可見，斷詞裏面新詞的問題依然存在。有沒有一個簡單有效的方法找到新詞呢？成爲本文想要探討的問題，提出一個新的方法，有以下改善：

資源占用低
不需大規模語料就能得到理想效果
不需考慮閥值的設置

文末也會有code，希望可以一起改善。

以前新詞發現的方法和缺陷

在以往新詞發現的方法中，通常也會提及 PMI 和 entropy 兩個指標

PMI用以衡量兩個字是在一起還是剛好碰到一起，也就是兩個字出現，剛好碰到一起的機率$$$$$$P(A) \times P(B)$$ 和詞的機率$$P(AB)$$ 的比值
PMI : $$log\frac{P(AB)}{P(a) \times P(b)}$$

而Entropy則是基於一個詞應該可以用在不同的場景，因此看這個詞的左右搭配是否豐富，越豐富的搭配越可能是詞。而衡量左右的詞是否豐富，Entropy是一個很切合的指標。
Entropy : $$H(X) = -\sum p(X)\log p(X)$$

這兩個方法都有缺點：
Entropy要統計左右詞頻，導致時間複雜度大大提高
PMI和Entropy都需要設置一個閾值加以篩選，而這個閾值由於語料大小，語境各種因數而變化，不容易調好
文本量越大效果越好，因此需要大量的文本作爲基礎，然而文本越多，效率越差

這些問題都很不好解決，因此，可以換一個全新思路來看看這個問題

重新出發，尋找另外的方法

我們從本源出發，詞的定義是什麽？

根據中央研究院 CNS14366中文分詞原則
句子與文本的理解建立在詞義的組合上
具有獨立意義，且扮演固定詞類的字串視為一分詞單位
也就是說，詞語詞之間是獨立的，以字為單位看，
詞語之間跟詞本身有著統計上的差異
詞語之間的關聯度相對詞本身的關聯度會低
兩者相互對比可以找出詞的邊界，也是句子獨立部分

我們用一張圖直觀解釋一下：

句子中詞與詞之間的邊界，詞頻會大幅下降，這一個drop down是一個很好判斷是否為詞的訊號。
單純用drop down的大小對比會陷入難以設定閾值，資料改動容易導致閾值大幅度改變等問題，不夠穩定可行
考慮到句子產生可以說是不斷在文末加入字的過程，頻數的變化，可改用前文和前文+下一字的比值來表達，而這個比值，也剛好是產生下一個字的條件概率。