All Posts

Pattern Exploiting Training(PET)是一种少样本半监督训练方法，通过添加任务描述，将输入重构成填空风格的语句。

本文介绍了ELMo模型，包括其网络结构、模型训练和模型使用，ELMo通过双向语言模型生成上下文感知的词嵌入。

本文介绍了Batch Normalization和Layer Normalization的原理、优缺点以及工作机制。

本文介绍了幂律分布和指数分布的定义、特性及其期望和方差的计算方法。

本文介绍了由 Google Research 提出的生成式预训练模型 T5，其理念是“万物皆可 seq2seq”，目标是统一框架，将文本分类、生成、翻译等任务都转化成 text-to-text 任务。

本文介绍了神经网络训练过程中基于梯度的优化算法，包括反向传播、梯度下降法、动量优化算法等。

反向传播（Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法结合使用的，用来训练人工神经网络的常见方法。

本文提供了 Htop 的命令速查表，方便用户快速查找和使用 Htop 的各种命令。

通过主动选择最有价值的样本进行标注的机器学习方法，其目的是使用尽可能少的、高质量的样本标注使模型达到尽可能好的性能。