向量数据库深入指南
向量数据库深入指南 “向量数据库是 RAG 的记忆中枢——它存储了知识的向量表示，让 AI 能够快速检索。” 一、为什么需要向量数据库？传统数据库存储的是结构化数据（表、行列），查询用的是精确匹配（WHERE id = 1）。 向量数据库存储的是高维向量（通常 768~4096 维...
RAG 系统评估与优化实战
RAG 系统评估与优化实战 “没有度量就没有改进。RAG 系统的质量取决于你能否准确评估它的质量。” 一、RAG 评估的特殊性为什么 RAG 评估比普通 NLP 评估更难？ 1234567普通 NLP 评估：输入 → 模型 → 输出 → 与标准答案比较 ✓RAG 评估：输入 → 检索 → 读...
Advanced RAG 实战指南
Advanced RAG 实战指南 “基础 RAG 解决有无问题，高级 RAG 解决体验问题。” 一、基础 RAG 的瓶颈在《RAG 实战指南》中，我们介绍了基础 RAG 的流程：检索 → 读取 → 生成。但基础 RAG 有几个常见问题： 问题 现象 根因 语义漂移 检索到的文档...
LLM Agent 技术全景
LLM Agent 技术全景 “大模型是脑子，Agent 是手脚。” — 吴恩达 一、从”说话”到”做事”传统的大语言模型只能回答问题——你问它，它答。但一个真正有用的 AI 系统需要能够执行动作：查天气、订机票、写代码并运行、操控机器人…… LLM Agent 就是让大语言模型具备行动能力...
大模型安全与对齐（RLHF/DPO）
大模型安全与对齐（RLHF/DPO） “一个比人类更聪明但目标与人类不一致的 AI，是人类文明面临的最大风险之一。” — Stuart Russell 一、什么是 AI 对齐？对齐（Alignment） 是让 AI 系统的行为符合人类意图的过程。简单说，就是让 AI “听话”——做...
大模型评估与 Benchmark 详解
大模型评估与 Benchmark 详解 “无法衡量，就无法改进。” — Peter Drucker 一、为什么评估大模型很重要？训练一个大模型需要数千张 GPU 和数月时间，但评估一个模型可能比训练它更难。 评估大模型面临三个核心挑战： 任务多样性：模型需要完成问答、摘要、翻译、代码生成、...
大模型推理优化实战
大模型推理优化实战 “训练靠算力，推理靠优化。一个优秀的推理系统，能让同一张 GPU 服务的用户数翻 10 倍。” 一、为什么推理优化如此重要？训练大模型需要海量 GPU，但将大模型部署并提供服务同样挑战巨大： 模型 参数量 FP16 显存 推理速度（ A100） GPT-3.5...
Tokenizers 与上下文窗口详解
Tokenizers 与上下文窗口详解 “Tokenizers 是大模型的门卫——它决定了哪些文本能进来，以什么形式进来。” 一、什么是 Token？人类读写的是文字，但大模型读写的是 Token。Token 是文本的最小处理单元，它不是简单的”字”或”词”，而是由分词器（Tokenizer...
深入理解 Transformer 架构
深入理解 Transformer 架构 如果说深度学习是 AI 的电力，那么 Transformer 就是产生这份电力的发电机。 一、为什么需要 Transformer？在 Transformer 出现之前，RNN（循环神经网络）系列模型是序列建模的主流。但 RNN 有一个致命的缺陷——顺序...
Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer ...