新書推薦:

《
聪明钱
》
售價:HK$
85.8

《
大转型:我们时代的政治与经济起源
》
售價:HK$
107.8

《
约翰·巴勒斯:美国自然文学之父
》
售價:HK$
74.8

《
东线有战事1914:一战爆发与帝国崩溃
》
售價:HK$
96.8

《
奇岩馆事件(“这本推理小说了不起!”大奖获奖作者高野结史颠覆你的推理常识)
》
售價:HK$
54.8

《
暗斗:一个书生的文化抗战
》
售價:HK$
96.8

《
西周人的日常生活:中国贵族的蜕变之旅 西周人的一天 九鼎八簋的隐藏菜单
》
售價:HK$
107.8

《
近代中国政府与政治
》
售價:HK$
118.8
|
內容簡介: |
《大模型RAG实战:RAG原理、应用与系统构建》
來源:香港大書城megBookStore,http://www.megbook.com.hk 这是一本全面讲解RAG技术原理、实战应用与系统构建的著作。作者结合自身丰富的实战经验,详细阐述了RAG的基础原理、核心组件、优缺点以及使用场景,同时探讨了RAG在大模型应用开发中的变革与潜力。书中不仅揭示了RAG技术背后的数学原理,还通过丰富的案例与代码实现,引导读者从理论走向实践,轻松掌握RAG系统的构建与优化。无论你是深度学习初学者,还是希望提升RAG应用技能的开发者,本书都将为你提供宝贵的参考与指导。
《大型语言模型实战指南:应用实践与场景落地》
这是一本系统梳理并深入解析大模型的基础理论、算法实现、数据构造流程、模型微调方法、偏好对齐方法的著作,也是一本能手把手教你构建角色扮演、信息抽取、知识问答、AI Agent等各种强大的应用程序的著作。本书得到了零一万物、面壁智能、通义千问、百姓AI、澜舟科技等国内主流大模型团队的负责人的高度评价和鼎力推荐。
|
關於作者: |
刘聪
资深NLP技术专家和AI技术专家,南京云问科技首席算法架构师,MLNLP(机器学习算法与自然语言处理)社区学术委员。主攻文本向量表征、问答系统、AIGC等技术方向,是大模型领域的先驱者和布道者。开源了首个中文Unilm预训练模型、中文GPT-2、夸夸闲聊机器人(ChatBot)、大模型微调等项目。作为主要负责人,在多项自然语言处理比赛中获得前三名,在中文核心期刊和SCI发表多篇论文,有多项发明专利。知乎ID“刘聪NLP”,拥有公众号“NLP工作站”,撰写书籍《ChatGPT原理与实战》。
沈盛宇
资深算法工程师,南京云问网络技术有限公司算法组负责人。擅长结合用户业务场景,针对性设计知识图谱、问答、检索、多模态、AIGC等的相关算法和落地方案。在结合客户现有产品体系,推动数据中台和算法平台结合,从而提升服务质量方面,有丰富实战经验。曾获得多项国家专利,参与制定和撰写《IDP术语标准》《人工智能-智能助理能力等级评估标准》《人工智能标准化与开源研究报告》《ChatGPT原理与实战》等多项国家级人工智能标准和书籍。
李特丽
资深大模型应用专家,LangChain中文社区联合创始人,开发LangChain等多个大模型开发框架的中文网,帮助中国开发者快速学习AI开发框架,撰写书籍《LangChain入门指南》。
杜振东
资深NLP技术专家和AI技术专家,南京云问科技NLP研究院院长,国家人工智能标准委专家、AIIA 人工智能技术专家、CCF智能机器人专业组首批委员。拥有10年机器学习与文本挖掘经验,8年中文自然语言处理实战经验,参与制定6项国家人工智能总体组标准,编写书籍《会话式AI》《人工智能实践录》《ChatGPT原理与实战》等。
汪鹏
资深NLP技术专家和AI技术专家,拥有多年NLP落地经验。擅长结合用户场景,针对性地设计图谱、问答、检索、多模态、AIGC等相关的算法和落地方案。在Kaggle获得多枚奖牌,等级master。拥有公众号“NLP前沿”。
谷清水
毕业于清华大学,有国内多家大厂工作经历,7年深度学习项目开发经验。在KDD-CUP等机器学习竞赛中多次获奖,持有多项发明专利。知乎ID:“战士金”。
卞龙鹏
某上市公司资深AI算法工程师,多年互联网一线工作经验,10年机器学习与数据挖掘经验。持多项发明专利,发表多篇SCI文章,主攻机器视觉、模式识别、自然语言处理。
|
目錄:
|
《大模型RAG实战:RAG原理、应用与系统构建》
前 言
第一部分 基础
第1章 RAG与大模型应用 2
1.1 大模型应用的方向:RAG 2
1.1.1 什么是RAG 2
1.1.2 RAG与模型微调的对比 5
1.1.3 RAG带来的范式改变 5
1.2 为什么需要RAG 6
1.2.1 大模型的知识更新问题 6
1.2.2 大模型生成结果的不可解释性问题 8
1.2.3 大模型的数据泄露问题 8
1.2.4 大模型的训练成本问题 9
1.3 RAG的工作流程 9
1.3.1 数据准备 10
1.3.2 数据召回 11
1.3.3 答案生成 12
1.4 RAG的优缺点 12
1.4.1 RAG的优点 12
1.4.2 RAG的缺点 13
1.5 RAG的使用场景 14
1.6 RAG面临的挑战 16
1.6.1 LLM的伸缩法则与知识库
大小的关系 16
1.6.2 相似度搜索的性能问题 17
1.7 本章小结 19
第2章 语言模型基础 20
2.1 Transformer 20
2.1.1 词嵌入 24
2.1.2 编码器 35
2.1.3 解码器 39
2.1.4 解码头 41
2.2 自动编码器 41
2.2.1 ELMo 42
2.2.2 BERT 43
2.3 自回归模型 47
2.3.1 GPT 48
2.3.2 LLaMA 53
2.4 本章小结 56
第3章 文本召回模型 58
3.1 文本召回模型基础 58
3.2 稠密向量检索模型 61
3.2.1 SimCSE 61
3.2.2 SBERT 63
3.2.3 CoSENT 64
3.2.4 WhiteBERT 65
3.2.5 SGPT 66
3.3 稀疏向量检索模型 67
3.3.1 朴素词袋模型 67
3.3.2 TF-IDF 68
3.3.3 BM25 70
3.4 重排序模型 71
3.5 本章小结 72
第二部分 原理
第4章 RAG核心技术与优化方法 74
4.1 提示词工程 74
4.1.1 提示词工程基础 74
4.1.2 RAG场景下的提示词
设计 81
4.2 文本切块 83
4.2.1 固定大小文本切块 84
4.2.2 基于NLTK的文本切块 85
4.2.3 特殊格式文本切块 85
4.2.4 基于深度学习模型的文本
切块 86
4.3 向量数据库 87
4.3.1 Faiss 88
4.3.2 Milvus 92
4.3.3 Weaviate 93
4.3.4 Chroma 93
4.3.5 Qdrant 93
4.4 召回环节优化 94
4.4.1 短文本全局信息增强 94
4.4.2 召回内容上下文扩充 95
4.4.3 文本多向量表示 96
4.4.4 查询内容优化 98
4.4.5 召回文本重排序 101
4.4.6 多检索器融合 102
4.4.7 结合元数据召回 104
4.5 效果评估 107
4.5.1 召回环节评估 107
4.5.2 模型回答评估 109
4.6 LLM能力优化 115
4.6.1 LLM微调 115
4.6.2 FLARE 117
4.6.3 Self-RAG 119
4.7 本章小结 120
第5章 RAG范式演变 121
5.1 基础RAG系统 121
5.1.1 基础流程 121
5.1.2 存在的问题 122
5.2 先进RAG系统 125
5.3 大模型主导的RAG系统 127
5.4 多模态RAG系统 131
5.5 本章小结 135
第6章 RAG系统训练 136
6.1 RAG系统的训练难点 136
6.2 训练方法 138
6.3 独立训练 138
6.4 序贯训练 139
6.4.1 冻结召回模块 140
6.4.2 冻结生成模块 141
6.5 联合训练 143
6.5.1 异步更新索引 143
6.5.2 批近似 147
6.6 本章小结 149
第三部分 实战
第7章 基于LangChain实现RAG
应用 152
7.1 LangChain基础模块 152
7.2 基于LangChain实现RAG 156
7.3 基于Streamlit搭建一个ChatPDF可视化应用 158
7.4 本章小结 161
第8章 RAG系统构建与微调
实战 162
8.1 向量模型构建 162
8.1.1 模型选型 162
8.1.2 训练数据构造 163
8.1.3 向量模型训练 166
8.1.4 向量模型联合训练 167
8.2 大模型指令微调 175
8.3 复杂问题处理 179
8.3.1 微调数据构造 180
8.3.2 微调数据处理 194
8.3.3 复杂问题推理处理 200
8.4 本章小结 203
《大型语言模型实战指南:应用实践与场景落地》
前言
第1章 大型语言模型基础 1
1.1 Transformer基础 1
1.2 常用的大型语言模型 4
1.2.1 GPT系列模型 4
1.2.2 OPT模型 11
1.2.3 Bloom模型 12
1.2.4 GLM系列模型 12
1.2.5 LLaMA系列模型 14
1.2.6 Baichuan系列模型 16
1.2.7 Qwen系列模型 18
1.2.8 Skywork模型 19
1.3 领域大型语言模型 21
1.3.1 法律大型语言模型 21
1.3.2 医疗大型语言模型 24
1.3.3 金融大型语言模型 27
1.3.4 教育大型语言模型 29
1.4 大型语言模型评估 30
1.4.1 大型语言模型的评估
内容 30
1.4.2 大型语言模型的评估
方法 32
1.4.3 大型语言模型评估
榜单 33
1.5 本章小结 37
第2章 大型语言模型的常用
微调方法 38
2.1 数据构造与清洗 38
2.1.1 数据构造方法 39
2.1.2 数据清洗方法 43
2.2 分词器构造 44
2.2.1 分词器概述 44
2.2.2 BPE分词器 45
2.2.3 WordPiece分词器 52
2.2.4 Unigram分词器 56
2.2.5 SentencePiece分词器 58
2.2.6 词表融合 62
2.3 大型语言模型的微调方法 63
2.3.1 前缀调优 63
2.3.2 提示调优 64
2.3.3 P-Tuning v2 65
2.3.4 LoRA 65
2.3.5 DyLoRA 66
2.3.6 AdaLoRA 67
2.3.7 QLoRA 67
2.3.8 QA-LoRA 68
2.3.9 LongLoRA 69
2.3.10 VeRA 69
2.3.11 S-LoRA 70
2.4 基于PEFT的LLaMA模型
微调实战 71
2.4.1 项目介绍 71
2.4.2 数据预处理 71
2.4.3 模型微调 72
2.4.4 模型预测 77
2.5 本章小结 78
第3章 大型语言模型的人类
偏好对齐 79
3.1 基于人类反馈的强化学习框架 79
3.2 前沿偏好对齐方法 84
3.2.1 RRHF 84
3.2.2 RLAIF 85
3.2.3 DPO 87
3.2.4 APO 89
3.3 基于DPO的偏好对齐实战 90
3.3.1 数据集介绍 90
3.3.2 TRL框架介绍 92
3.3.3 训练代码解析 93
3.4 本章小结 96
第4章 创建个人专属的ChatGPT
—GPTs 97
4.1 GPTs初体验 97
4.2 GPTs的初阶使用 105
4.2.1 知识库的使用 105
4.2.2 内置插件的使用 108
4.2.3 知识库与内置插件的
结合使用 111
4.3 GPTs的高阶使用 113
4.4 本章小结 122
第5章 大型语言模型SQL任务
实战 123
5.1 公开数据集 123
5.1.1 英文公开数据集 123
5.1.2 中文公开数据集 128
5.2 主流方法 132
5.2.1 基于规则的方法 133
5.2.2 基于深度学习的方法 133
5.2.3 基于预训练语言模型的
方法 136
5.2.4 基于大型语言模型的
方法 136
5.3 Text2SQL任务实战 141
5.3.1 项目介绍 141
5.3.2 数据预处理 142
5.3.3 模型微调 147
5.3.4 模型预测 149
5.4 本章小结 150
第6章 大型语言模型的角色扮演
应用 151
6.1 角色扮演 151
6.1.1 大型语言模型如何进行
角色扮演 153
6.1.2 角色扮演数据的构造
方法 155
6.1.3 大型语言模型角色扮演的
能力评估 155
6.2 角色扮演实战测试 156
6.3 基于Baichuan的角色扮演模型
微调 159
6.3.1 项目介绍 159
6.3.2 数据预处理 160
6.3.3 模型微调 164
6.3.4 模型预测 171
6.4 本章小结 175
第7章 大型语言模型的对话要素
抽取应用 176
7.1 对话要素抽取 176
7.2 对话要素抽取实战测试 177
7.2.1 基于GPT-3.5 API进行
对话要素抽取 178
7.2.2 基于Qwen-1.8B模型
进行对话要素抽取 180
7.3 基于Qwen的对话要素抽取
模型微调 183
7.3.1 项目介绍 183
7.3.2 数据预处理 183
7.3.3 模型微调 190
7.3.4 模型预测 198
7.4 本章小结 202
第8章 Agent应用开发 203
8.1 Agent概述 203
8.2 Agent的主要模块 205
8.3 Agent的行为决策机制 207
8.4 主流Agent 框架 211
8.4.1 LangChain框架 211
8.4.2 LlamaIndex框架 214
8.4.3 AutoGPT框架 215
8.4.4 AutoGen 框架 216
8.4.5 SuperAGI框架 219
8.5 本章小结 221
第9章 基于知识库的大型语言
模型问答应用 222
9.1 基于知识库问答 222
9.2 向量数据库 224
9.2.1 文本的向量表征 225
9.2.2 向量的距离度量方法 228
9.2.3 常用的向量数据库 229
9.3 基于知识库的大型语言模型
问答实战 231
9.3.1 BGE微调 231
9.3.2 基于ChatGLM3知识库
答案生成任务的微调 238
9.3.3 基于Streamlit的知识库
答案应用搭建 245
9.4 本章小结 249
第10章 使用LangChain构建一个
AutoGPT 250
10.1 AutoGPT概述 250
10.2 LangChain概述 253
10.3 使用LangChain构建
AutoGPT 254
10.3.1 构建 254
10.3.2 规划和任务分解 255
10.3.3 输出解析 258
10.3.4 程序的核心
AutoGPT类 261
10.3.5 工具能力配置 266
10.3.6 为Agent配置记忆 269
10.4 运行AutoGPT 274
10.5 本章小结 277
|
|