AI · 豆逗子的小黑屋

多模态模型是如何处理和理解图片的？

2025-06-15·6721 字·14 分钟

AI 多模态机器学习 ViT CLIP 视觉编码

从Vision Transformer到图文对齐，探索多模态模型背后的核心技术原理与实现方法，包括CLIP、SigLIP以及主流多模态大模型的视觉编码策略。

浅谈 DeepSeek-R1 和 Kimi k1.5 论文中的思维链 + 强化学习

2025-02-01·2588 字·6 分钟

AI LLM CoT 强化学习 DeepSeek Kimi 模型蒸馏思维链

浅谈 DeepSeek-R1 和 Kimi k1.5 两个模型在推理能力上的技术特点：DeepSeek 采用 GRPO 算法和模型蒸馏提升推理表现，Kimi 则探索长文本思维链和强化学习的结合方案。

使用 TiDB Vector 构建 LightRAG 知识库

2024-12-22·2506 字·6 分钟

RAG LLM AI TiDB 工程实践

梳理了 LightRAG 之后，发现 LightRAG 对持久化支持的还不够多，缺少了最重要的 TiDB (不是)。故抽空贡献之，顺便写个软文。

从论文到源码：详解 RAG 算法

2024-11-30·11764 字·24 分钟

RAG LLM AI 论文笔记算法原理

本文旨在通过论文+源码的解读，探究 RAG 算法的架构设计和具体的代码实现。本文主要讨论了 GraphRAG、LightRAG 和 RAPTOR RAG，除此之外还提及了 Anthropic 提出的 Contextual Retrieval 上下文检索和 RAG 算法的评估方法。最后在实践中，建议还是根据知识库文档的规模来选择不同的方法。

浅入浅出 Rerank 模型

2024-10-20·4241 字·9 分钟

检索 AI RAG 论文笔记

随着 Transformer 架构的流行，目前很多 Embedding 和 Rerank 模型都逐渐基于这个架构。借此机会梳理一下研究的过程和历史，盘点一下目前几个知名的 Rerank 模型的组织和公司所采用的架构。最后回归正题浅谈目前 RAG 场景到底要不要用 Rerank。

读书笔记《大语言模型》

2024-06-30·19143 字·39 分钟

书籍阅读大模型 AI

本文是《大语言模型》的阅读笔记，详细介绍了大语言模型的发展历程、训练优化方法、数据处理技术、解码策略、模型量化、模型压缩、提示学习、评测指标和方法，以及知识图谱在大语言模型中的应用，特别关注了扩展法则、涌现能力、人类对齐和多智能体系统等关键概念和技术。

TiDB Vector + Dify 快速构建 AI Agent

2024-05-26·1996 字·4 分钟

向量库 LlmOps 大模型 AI

本文介绍了如何使用 Dify 和 TiDB Vector 快速构建 AI Agent，包括前期准备、部署 Dify、配置知识库和创建 Agent 的详细步骤，以及源码分析和表结构设计。文章提供了 Dify 接入 TiDB Vector 后的表结构设计和 SQL 查询语句，帮助开发者更好地理解和使用这一集成方案。

基于 LLM 推动游戏叙事

2024-05-23·2039 字·5 分钟

论文阅读大模型 AI 论文笔记

本文介绍了论文《Player-Driven Emergence in LLM-Driven Game Narrative》，探讨了如何利用 GPT-4 在游戏中实现更灵活和丰富的对话和叙事结构，并发现玩家创造了新的叙事节点，这被称为叙事的涌现。

混合专家模型 (MoE) 笔记

2024-03-06·2438 字·5 分钟

MoE 大模型 AI 论文阅读论文笔记

本文主要梳理了混合专家模型 (MoE) 的相关概念，并介绍了几种开源 MoE 模型的架构和优化方法，如 GShard、Switch Transformers、DeepSeek-MoE 和 LLaMA-MoE 等模型的特点和优化方法。

读书笔记《大规模语言模型：从理论到实践》

2023-12-10·16129 字·33 分钟

大模型书籍阅读 AI

本文是《大规模模型语言》一书的笔记。详细探讨了语言模型的发展历程、基本概念和概率分布建模方法，随后重点讨论了大模型的发展历程和构建流程。文章也详细描述了Transformer模型、GPT和LLaMA模型的特点和优化方法。此外，文章还介绍了分布式训练技术、并行策略、强化学习的基本概念和应用，以及语言模型的评估指标和方法。