↓ 跳过正文

论文笔记

从论文到源码：详解 RAG 算法

从论文到源码：详解 RAG 算法

2024-11-30·11764 字·24 分钟

RAG LLM AI 论文笔记算法原理

本文旨在通过论文+源码的解读，探究 RAG 算法的架构设计和具体的代码实现。本文主要讨论了 GraphRAG、LightRAG 和 RAPTOR RAG，除此之外还提及了 Anthropic 提出的 Contextual Retrieval 上下文检索和 RAG 算法的评估方法。最后在实践中，建议还是根据知识库文档的规模来选择不同的方法。

浅入浅出 Rerank 模型

2024-10-20·4241 字·9 分钟

检索 AI RAG 论文笔记

随着 Transformer 架构的流行，目前很多 Embedding 和 Rerank 模型都逐渐基于这个架构。借此机会梳理一下研究的过程和历史，盘点一下目前几个知名的 Rerank 模型的组织和公司所采用的架构。最后回归正题浅谈目前 RAG 场景到底要不要用 Rerank。

基于 LLM 推动游戏叙事

2024-05-23·2039 字·5 分钟

论文阅读大模型 AI 论文笔记

本文介绍了论文《Player-Driven Emergence in LLM-Driven Game Narrative》，探讨了如何利用 GPT-4 在游戏中实现更灵活和丰富的对话和叙事结构，并发现玩家创造了新的叙事节点，这被称为叙事的涌现。

混合专家模型 (MoE) 笔记

混合专家模型 (MoE) 笔记

2024-03-06·2438 字·5 分钟

MoE 大模型 AI 论文阅读论文笔记

本文主要梳理了混合专家模型 (MoE) 的相关概念，并介绍了几种开源 MoE 模型的架构和优化方法，如 GShard、Switch Transformers、DeepSeek-MoE 和 LLaMA-MoE 等模型的特点和优化方法。