NLP
NNLM：意外诞生词嵌入的神经网络语言模型
n-gram 之后的重要技术是 NNLM（Neural Network Language Model），由Yoshua Bengio等人在 2003 年提出，原本只是想用神经网络改进语言建模，却意外地发明了词嵌入。 表示问题：从顺序编码到 one-hot
在深入 NNLM 之前…
重新理解n-gram：从统计到深度学习的桥梁
最近在梳理早期 NLP 技术时，重新归纳了 n-gram 模型。虽然现在更关注 Transformer 等架构，但回头看这些 "古老" 的方法，其实能学到很多东西。 n-gram 的基本思想
n-gram 的核心想法其实很直观：一个词出现的概率只取决于它前面的几个词（具体来说是前…