Moe

介绍了MoE（Mixture of Experts）模型中的TopK算法，解释了为什么要在其中添加噪音。

本文讨论了Mistral-8x7B的主要特点，包括其结构、性能以及一些创新技术如SWA和GQA。