Published onSeptember 30, 2022Positional Encodingnlptransformer本文介绍了位置编码的概念、其必要性以及绝对位置编码和相对位置编码的详细内容,并回答了一些常见问题。
Published onFebruary 1, 2022Approximating Softmaxembedding本文讨论了在深度学习任务中,如何通过近似方法优化计算复杂度较高的softmax操作,包括Hierarchical softmax、Sparse softmax、Noise Contrastive Estimation等技术。