Published onAugust 27, 2024如何使用 whisper、llama3 和 edge-tts 做一个口语陪练whispervoicechatgroqllama浅聊如何融合多家 LLM API 打造一个口语陪练机器人,涉及设计思路、技术栈及实现中遇到的问题。
Published onAugust 15, 2024AI 推理加速利器:提示缓存技术解析cacheprompt本文探讨了 prompt caching 的基本原理,以及如何实现 prompt caching。
Published onAugust 1, 2024MoE 中的 TopK 算法为什么要添加噪音?moellmdeeplearning介绍了MoE(Mixture of Experts)模型中的TopK算法,解释了为什么要在其中添加噪音。