Embedding

本文介绍了ELMo模型，包括其网络结构、模型训练和模型使用，ELMo通过双向语言模型生成上下文感知的词嵌入。

本文讨论了在深度学习任务中，如何通过近似方法优化计算复杂度较高的softmax操作，包括Hierarchical softmax、Sparse softmax、Noise Contrastive Estimation等技术。