All Posts

Google Gemini 模型终于发布，本文探讨其特点、版本及性能表现，并与 GPT-4 进行对比。

本文介绍了Step-Back Prompting技术，通过对问题先抽象再回答的方式进行推理，并对其效果进行了实验分析。

Pattern Exploiting Training(PET)是一种少样本半监督训练方法，通过添加任务描述，将输入重构成填空风格的语句。

本文介绍了ELMo模型，包括其网络结构、模型训练和模型使用，ELMo通过双向语言模型生成上下文感知的词嵌入。

本文介绍了Batch Normalization和Layer Normalization的原理、优缺点以及工作机制。

本文介绍了幂律分布和指数分布的定义、特性及其期望和方差的计算方法。

本文介绍了由 Google Research 提出的生成式预训练模型 T5，其理念是“万物皆可 seq2seq”，目标是统一框架，将文本分类、生成、翻译等任务都转化成 text-to-text 任务。

本文介绍了神经网络训练过程中基于梯度的优化算法，包括反向传播、梯度下降法、动量优化算法等。

反向传播（Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法结合使用的，用来训练人工神经网络的常见方法。