新書推薦:

《
抗日战争时期中英借款交涉研究
》
售價:HK$
86.9

《
大学问·中国城市史研究系列 茶馆 天津工人 晚清中国城市的水与电 亦官亦商(套装共4册)
》
售價:HK$
389.4

《
索恩丛书·信仰与权力:阿拉伯世界的裂变与重生
》
售價:HK$
141.9

《
哲学之旅(第8版):一种互动性探究(最新完整版,2025中国-东盟影响力图书)
》
售價:HK$
164.8

《
何以为帝:雍正继位新探(清史泰斗冯尔康,从继位疑案读懂中国封建皇权,看清人性与制度的极致博弈)
》
售價:HK$
74.8

《
元照英美法词典(简装学生版)
》
售價:HK$
108.9

《
防患于未“燃”:故宫历史上的火灾与消防(在故宫) 探秘故宫防火智慧 解码古建营造技艺
》
售價:HK$
86.9

《
从家族企业到商业世家:创业家族世代繁荣的路线图
》
售價:HK$
86.9
|
內容簡介: |
《大模型RAG实战:RAG原理、应用与系统构建》
來源:香港大書城megBookStore,http://www.megbook.com.hk 这是一本全面讲解RAG技术原理、实战应用与系统构建的著作。作者结合自身丰富的实战经验,详细阐述了RAG的基础原理、核心组件、优缺点以及使用场景,同时探讨了RAG在大模型应用开发中的变革与潜力。书中不仅揭示了RAG技术背后的数学原理,还通过丰富的案例与代码实现,引导读者从理论走向实践,轻松掌握RAG系统的构建与优化。无论你是深度学习初学者,还是希望提升RAG应用技能的开发者,本书都将为你提供宝贵的参考与指导。
《大模型项目实战:多领域智能应用开发》
本书系统地讲解了大语言模型的实战应用过程,涵盖基础知识、常见操作和应用开发3个方面,帮助大语言模型的使用者、应用开发者循序渐进地掌握大模型的原理、操作以及多个场景下的应用开发技能
|
關於作者: |
高强文
互链高科(北京)技术发展有限公司总经理,银川方达电子系统工程有限公司董事长,宁夏回族自治区劳动模范。专注于人工智能大语言模型应用开发、开源社区开发与运营。参加工作20多年来,一直从事医疗健康领域信息化、人工智能等产品研发与管理工作,近年来致力于开源事业,开发运营aliendao.cn、gitclone.com和opendao.cn等开源社区,在GitHub上贡献了20多个开源代码库。
汪鹏
资深NLP技术专家和AI技术专家,拥有多年NLP落地经验。擅长结合用户场景,针对性地设计图谱、问答、检索、多模态、AIGC等相关的算法和落地方案。在Kaggle获得多枚奖牌,等级master。拥有公众号“NLP前沿”。
谷清水
毕业于清华大学,有国内多家大厂工作经历,7年深度学习项目开发经验。在KDD-CUP等机器学习竞赛中多次获奖,持有多项发明专利。知乎ID:“战士金”。
卞龙鹏
某上市公司资深AI算法工程师,多年互联网一线工作经验,10年机器学习与数据挖掘经验。持多项发明专利,发表多篇SCI文章,主攻机器视觉、模式识别、自然语言处理。
|
目錄:
|
《大模型RAG实战:RAG原理、应用与系统构建》
前 言
第一部分 基础
第1章 RAG与大模型应用 2
1.1 大模型应用的方向:RAG 2
1.1.1 什么是RAG 2
1.1.2 RAG与模型微调的对比 5
1.1.3 RAG带来的范式改变 5
1.2 为什么需要RAG 6
1.2.1 大模型的知识更新问题 6
1.2.2 大模型生成结果的不可解释性问题 8
1.2.3 大模型的数据泄露问题 8
1.2.4 大模型的训练成本问题 9
1.3 RAG的工作流程 9
1.3.1 数据准备 10
1.3.2 数据召回 11
1.3.3 答案生成 12
1.4 RAG的优缺点 12
1.4.1 RAG的优点 12
1.4.2 RAG的缺点 13
1.5 RAG的使用场景 14
1.6 RAG面临的挑战 16
1.6.1 LLM的伸缩法则与知识库
大小的关系 16
1.6.2 相似度搜索的性能问题 17
1.7 本章小结 19
第2章 语言模型基础 20
2.1 Transformer 20
2.1.1 词嵌入 24
2.1.2 编码器 35
2.1.3 解码器 39
2.1.4 解码头 41
2.2 自动编码器 41
2.2.1 ELMo 42
2.2.2 BERT 43
2.3 自回归模型 47
2.3.1 GPT 48
2.3.2 LLaMA 53
2.4 本章小结 56
第3章 文本召回模型 58
3.1 文本召回模型基础 58
3.2 稠密向量检索模型 61
3.2.1 SimCSE 61
3.2.2 SBERT 63
3.2.3 CoSENT 64
3.2.4 WhiteBERT 65
3.2.5 SGPT 66
3.3 稀疏向量检索模型 67
3.3.1 朴素词袋模型 67
3.3.2 TF-IDF 68
3.3.3 BM25 70
3.4 重排序模型 71
3.5 本章小结 72
第二部分 原理
第4章 RAG核心技术与优化方法 74
4.1 提示词工程 74
4.1.1 提示词工程基础 74
4.1.2 RAG场景下的提示词
设计 81
4.2 文本切块 83
4.2.1 固定大小文本切块 84
4.2.2 基于NLTK的文本切块 85
4.2.3 特殊格式文本切块 85
4.2.4 基于深度学习模型的文本
切块 86
4.3 向量数据库 87
4.3.1 Faiss 88
4.3.2 Milvus 92
4.3.3 Weaviate 93
4.3.4 Chroma 93
4.3.5 Qdrant 93
4.4 召回环节优化 94
4.4.1 短文本全局信息增强 94
4.4.2 召回内容上下文扩充 95
4.4.3 文本多向量表示 96
4.4.4 查询内容优化 98
4.4.5 召回文本重排序 101
4.4.6 多检索器融合 102
4.4.7 结合元数据召回 104
4.5 效果评估 107
4.5.1 召回环节评估 107
4.5.2 模型回答评估 109
4.6 LLM能力优化 115
4.6.1 LLM微调 115
4.6.2 FLARE 117
4.6.3 Self-RAG 119
4.7 本章小结 120
第5章 RAG范式演变 121
5.1 基础RAG系统 121
5.1.1 基础流程 121
5.1.2 存在的问题 122
5.2 先进RAG系统 125
5.3 大模型主导的RAG系统 127
5.4 多模态RAG系统 131
5.5 本章小结 135
第6章 RAG系统训练 136
6.1 RAG系统的训练难点 136
6.2 训练方法 138
6.3 独立训练 138
6.4 序贯训练 139
6.4.1 冻结召回模块 140
6.4.2 冻结生成模块 141
6.5 联合训练 143
6.5.1 异步更新索引 143
6.5.2 批近似 147
6.6 本章小结 149
第三部分 实战
第7章 基于LangChain实现RAG
应用 152
7.1 LangChain基础模块 152
7.2 基于LangChain实现RAG 156
7.3 基于Streamlit搭建一个ChatPDF可视化应用 158
7.4 本章小结 161
第8章 RAG系统构建与微调
实战 162
8.1 向量模型构建 162
8.1.1 模型选型 162
8.1.2 训练数据构造 163
8.1.3 向量模型训练 166
8.1.4 向量模型联合训练 167
8.2 大模型指令微调 175
8.3 复杂问题处理 179
8.3.1 微调数据构造 180
8.3.2 微调数据处理 194
8.3.3 复杂问题推理处理 200
8.4 本章小结 203
《大模型项目实战:多领域智能应用开发》
前 言
基础篇
第1章 大语言模型的基础知识 3
1.1 大语言模型概述 4
1.1.1 基本情况 4
1.1.2 发展历史 4
1.1.3 发展现状 6
1.1.4 发展趋势 7
1.2 基本原理 7
1.2.1 Transformer架构 8
1.2.2 编码器与解码器 8
1.2.3 自注意力机制 9
1.3 应用开发技术 11
1.3.1 Python 11
1.3.2 React.js 11
1.4 训练方法 12
1.4.1 FFT 12
1.4.2 RLHF 13
1.4.3 P-Tuning 13
1.4.4 LoRA 13
1.5 常见现象 13
1.5.1 幻觉 14
1.5.2 灾难性遗忘 14
1.5.3 涌现 14
1.5.4 价值对齐 15
第2章 大语言模型应用架构 16
2.1 整体架构 16
2.2 基础设施 17
2.2.1 硬件部分 17
2.2.2 操作系统 18
2.3 基础软件 18
2.3.1 CUDA 18
2.3.2 PyTorch 18
2.3.3 Anaconda 19
2.3.4 Nginx 19
2.4 应用软件 20
2.4.1 大语言模型文件 20
2.4.2 Transformers库 20
2.4.3 服务程序 20
2.4.4 API 21
2.4.5 客户端程序 21
第3章 大语言模型应用的工作模式 22
3.1 硬件部署 22
3.2 应用软件部署 23
3.3 运行模式 24
3.3.1 模型API服务的工作模式 24
3.3.2 模型API服务的运行过程 25
3.3.3 前后端交互方法 26
3.3.4 前端实现 27
操作篇
第4章 应用环境搭建 31
4.1 基础设施 31
4.1.1 服务器要求 31
4.1.2 操作系统准备 31
4.1.3 推理卡安装 32
4.2 基础软件安装 32
4.2.1 Linux 32
4.2.2 Windows 40
4.3 其他软件安装 41
4.3.1 Nginx 41
4.3.2 Git 42
第5章 大语言模型安装 43
5.1 ChatGLM安装 43
5.1.1 ChatGLM3模型介绍 43
5.1.2 ChatGLM3-6B安装 44
5.1.3 编程验证 45
5.2 Qwen-VL安装 47
5.2.1 Qwen模型介绍 47
5.2.2 Qwen-VL-Chat-Int4安装 47
5.2.3 编程验证 49
5.3 LLaMA2安装 50
5.3.1 LLaMA2模型介绍 50
5.3.2 Llama-2-7b-chat安装 51
5.3.3 运行验证 51
5.4 Gemma安装 54
5.4.1 Gemma模型介绍 54
5.4.2 Gemma-2B安装 55
5.4.3 编程验证 55
5.5 Whisper安装 57
5.5.1 Whisper-large-v3介绍 57
5.5.2 Whisper-large-v3安装 57
5.5.3 编程验证 58
第6章 大语言模型微调 60
6.1 ChatGLM微调 60
6.1.1 微调方法介绍 61
6.1.2 微调环境准备 61
6.1.3 语料准备 62
6.1.4 模型下载 65
6.1.5 微调过程 65
6.1.6 微调模型测试 67
6.2 LLaMA2微调 68
6.2.1 微调方法介绍 68
6.2.2 微调环境准备 69
6.2.3 语料准备 70
6.2.4 模型下载 71
6.2.5 微调过程 71
6.2.6 PEFT微调模型测试 73
6.2.7 模型合并 74
6.2.8 合并后模型测试 74
6.3 Gemma微调 74
6.3.1 微调方法介绍 74
6.3.2 微调环境准备 75
6.3.3 模型下载 75
6.3.4 微调程序开发 75
6.3.5 语料文件下载 77
6.3.6 微调与测试过程 78
第7章 大语言模型量化 79
7.1 量化介绍 79
7.2 llama.cpp量化过程 80
7.2.1 llama.cpp编译 80
7.2.2 模型GGUF格式转换 81
7.2.3 模型下载 81
7.2.4 量化过程 81
7.2.5 量化模型测试 82
7.2.6 Web方式运行 82
7.3 gemma.cpp量化过程 83
7.3.1 gemma.cpp源码下载 83
7.3.2 gemma.cpp编译 83
7.3.3 量化模型下载 84
7.3.4 推理 84
第8章 多模态模型应用 86
8.1 Stable Diffusion介绍 86
8.2 Stable Diffusion部署 87
8.2.1 代码获取 87
8.2.2 Python虚拟环境准备 87
8.2.3 依赖库安装 87
8.2.4 模型下载 88
8.2.5 服务运行 88
8.3 Stable Diffusion应用 88
8.3.1 文生图应用 89
8.3.2 图生图应用 90
开发篇
第9章 Chat应用 94
9.1 目标 94
9.2 原理 94
9.2.1 功能概要 94
9.2.2 系统架构 95
9.2.3 运行原理 96
9.3 开发过程 96
9.3.1 Node.js安装 96
9.3.2 chat-app新建 96
9.3.3 源代码 97
9.3.4 测试 98
9.3.5 应用发布 99
第10章 辅助编程应用 102
10.1 目标 103
10.2 原理 103
10.2.1 功能概要 103
10.2.2 系统架构 103
10.2.3 运行原理 104
10.3 开发过程 104
10.3.1 开发环境准备 104
10.3.2 测试模型准备 105
10.3.3 API服务实现 106
10.3.4 测试 110
第11章 VS Code插件 112
11.1 目标 112
11.2 原理 112
11.2.1 功能概要 112
11.2.2 系统架构 113
11.2.3 运行原理 114
11.3 开发过程 114
11.3.1 环境准备与项目创建 115
11.3.2 插件开发 115
11.3.3 插件发布 118
第12章 检索增强生成应用 121
12.1 目标 121
12.2 原理 122
12.2.1 功能概要 122
12.2.2 系统架构 123
12.2.3 运行原理 124
12.3 开发过程 125
12.3.1 大语言模型安装 125
12.3.2 依赖库安装 125
12.3.3 向量化模型下载 126
12.3.4 源代码 126
12.3.5 测试 128
第13章 PDF翻译应用 130
13.1 目标 130
13.2 原理 130
13.2.1 功能概要 130
13.2.2 系统架构 131
13.2.3 运行原理 131
13.3 开发过程 135
13.3.1 大语言模型安装 135
13.3.2 依赖环境安装 135
13.3.3 下载英译中模型 135
13.3.4 源代码 136
13.3.5 测试 138
第14章 智能代理应用 140
14.1 目标 140
14.2 原理 141
14.2.1 AI Agent 141
14.2.2 AutoGen 141
14.3 开发过程 143
14.3.1 大语言模型安装 143
14.3.2 Docker安装 144
14.3.3 虚拟环境准备 145
14.3.4 运行环境验证 145
14.3.5 多代理会话应用开发 146
第15章 语音模型应用 149
15.1 目标 149
15.2 原理 149
15.2.1 功能概要 149
15.2.2 系统架构 150
15.2.3 运行原理 151
15.3 开发过程 152
15.3.1 运行环境安装 152
15.3.2 模型下载 153
15.3.3 Demo运行 153
15.3.4 服务端开发 154
15.3.5 客户端开发 160
15.3.6 测试 163
第16章 数字人应用 166
16.1 目标 166
16.2 原理 167
16.2.1 功能概要 167
16.2.2 系统架构 167
16.2.3 运行原理 168
16.3 开发过程 169
16.3.1 环境准备 169
16.3.2 源代码 173
16.3.3 测试 177
第17章 提示词生成应用:从零训练
模型 179
17.1 目标 179
17.2 原理 180
17.2.1 GPT-2 180
17.2.2 训练流程与应用架构 181
17.2.3 训练方法与运行原理 182
17.3 开发与训练过程 185
17.3.1 语料整理 186
17.3.2 训练 188
17.3.3 推理与服务 196
17.3.4 测试 202
第18章 AI小镇应用 204
18.1 目标 204
18.2 原理 205
18.2.1 功能概要 205
18.2.2 系统架构 206
18.2.3 运行原理 207
18.3 开发过程 209
18.3.1 大语言模型安装 210
18.3.2 开发环境搭建 210
18.3.3 地图制作 210
18.3.4 app.js 211
18.3.5 BootScene.js 213
18.3.6 GameScene.js 213
18.3.7 ChatUtils.js 218
18.3.8 测试 219
|
|