Published onFebruary 1, 2022Approximating Softmaxembedding本文讨论了在深度学习任务中,如何通过近似方法优化计算复杂度较高的softmax操作,包括Hierarchical softmax、Sparse softmax、Noise Contrastive Estimation等技术。