新書推薦：
《
索恩丛书·蛮族之王：狄奥多里克与罗马帝国的黄昏
》
售價：HK$
174.9
《
世界银行营商环境成熟度方法论手册 2025年修订版 官方指导手册
》
售價：HK$
327.8
《
人形机器人：产业变革商业机遇与未来趋势
》
售價：HK$
96.8
《
没有人能让我不快乐
》
售價：HK$
46.2
《
汉匈战争三百年
》
售價：HK$
97.9
《
成为作家：提升创造力、自律性、谦逊和毅力的专业指南（写作不是天赋，作家可以培养，人人都可以实现自己的作家梦）
》
售價：HK$
64.9
《
中国中世西北民族关系研究
》
售價：HK$
129.8
《
具身智能数据工程：标准、技术与实践指南
》
售價：HK$
109.8
|
| 內容簡介： |
|
本书系统深入地剖析了通义千问QwQ-32B开源大模型的技术原理与工程应用，聚焦于智能体强化学习下的模型架构创新与企业级项目交付实战。全书共十二章，内容涵盖模型底层结构优化、高效训练机制、MoE专家路由、注意力重构、推理部署加速、多模态能力集成、高效微调方法、上下文增强对话系统、响应可控机制等核心技术环节。后半部分以多智能体系统、大规模RAG知识引擎、跨模态数据处理、法律与财务场景落地为工程案例，呈现了QwQ-32B在复杂商业场景中的构建路径与部署规范。同时，围绕企业定制、模型版本管理、开源生态协同等内容，提供了从模型到系统、从研发到交付的完整解决方案。本书定位于从事大模型研发、智能体系统集成与产业应用的技术人员与架构师，兼具理论深度与实践指导意义，是大模型工程落地不可或缺的技术参考书。
|
| 關於作者： |
|
芯智智能（Xinzhi Intelligence Lab）：致力于人工智能、机器学习和大模型领域的前沿研究与技术创新。实验室专注于利用最新的AI算法和大数据分析技术，推动智能技术在各行业中的深度应用。实验室的研究涵盖从基础理论到实际应用的多个方面，包括深度学习、强化学习、自然语言处理、计算机视觉以及大规模语言模型的训练与优化。实验室不断推动AI技术的突破，致力于为社会和产业提供智能化的解决方案，推动人工智能技术的产业化应用，提升行业的智能化水平。温凯楠，从事科研工作二十余年，参与国家科技重大专项攻关任务，精通各种工程应用与数据分析工具，专注于强化学习和深度学习模型与各行业应用的结合，推动人工智能技术在实际业务中的落地与应用。负责企业AI大模型的部署、优化及监控，确保系统在高并发、大规模数据处理环境下的稳定性和高效性。拥有丰富的工程实践经验，发表论文多篇。
|
| 目錄：
|
目录
第1章 通义千问QwQ-32B模型架构精解1
1.1 QwQ-32B模型简介及Transformer架构原理基础1
1.1.1 通义千问QwQ-32B模型简介1
1.1.2 为什么要有QwQ-32B3
1.1.3 何为Transformer5
1.1.4 基于RoPE的旋转位置编码优化5
1.1.5 SwiGLU激活函数的高维表示7
1.1.6 Decoder-only架构的Token并行路径9
1.1.7 层归一化的前置设计实现10
1.1.8 DropPath与残差融合策略14
1.2 多专家路由机制在大模型中的微粒化配置17
1.2.1 Experts参数隔离与Token稀疏激活18
1.2.2 Top-2 Gating机制的动态路径选择21
1.2.3 路由器梯度问题与正则优化24
1.2.4 ECF动态调节26
1.3 高效注意力机制的重构28
1.3.1 FlashAttention-2的流水线优化28
1.3.2 KV Cache压缩与解码时动态管理30
1.3.3 查询位置关联哈希索引加速33
1.3.4 稀疏注意力vs线性注意力37
1.4 模型压缩与结构稀疏性优化39
1.4.1 LoRA在QwQ-32B中的精调集成39
1.4.2 QLoRA的量化与适配策略43
1.4.3 分层剪枝与权重重要性评估46
1.4.4 模型蒸馏下的学生 教师协同框架47
1.5 参数初始化与训练稳定性控制49
1.5.1 Fan-in vs Fan-out初始化策略对比49
1.5.2 DeepNorm正则化机制在深层网络中的稳定性50
1.5.3 Pre-LN与Post-LN在梯度传播中的角色51
1.5.4 Embedding漂移与Clip策略55
1.5.5 AGC的阈值搜索57
1.6 本章小结59
第2章 数据管线与数据对齐60
2.1 多模态数据混合构建60
2.1.1 文本数据去重与语料覆盖率分析60
2.1.2 中英对齐与语义映射规则62
2.1.3 多轮对话上下文归一化63
2.1.4 专业领域语料强化覆盖66
2.2 高质量指令微调样本构造69
2.2.1 Alpaca格式与多样化指令改写70
2.2.2 复杂推理链构建72
2.2.3 增强型Few-Shot样本自动生成器75
2.2.4 伪标签生成与验证机制77
2.2.5 对抗样本注入80
2.3 强化学习对齐：RLAIF与RLEIF融合机制83
2.3.1 人类偏好数据采样分布83
2.3.2 奖励模型训练的对比损失构造85
2.3.3 蒸馏引导的强化微调管线87
2.3.4 自监督奖励信号抽取91
2.4 本章小结95
第3章 智能体架构与性能调优96
3.1 智能体系统架构剖析96
3.1.1 多模块协同调度引擎96
3.1.2 Agent核心接口封装与协议设计98
3.1.3 工具调用的上下文注入机制103
3.1.4 状态感知与事件驱动模型107
3.2 工具调用与函数推理108
3.2.1 OpenFunction格式的接口定义108
3.2.2 函数调用路径追踪与推理反射机制111
3.2.3 多函数调用调度队列设计114
3.2.4 函数选择条件与Prompt动态拼接117
3.2.5 工具调用错误恢复与重试策略121
3.3 多智能体协同对话系统125
3.3.1 基于角色的智能体定义与策略注入125
3.3.2 LLM中嵌套Agent交互协议129
3.3.3 任务分解132
3.3.4 中央调度Agent与子Agent路由135
3.4 本章小结136
第4章 模型推理加速与高效部署137
4.1 模型量化精度与性能平衡137
4.1.1 SmoothQuant与PTQ策略比较137
4.1.2 INT4/INT8量化矩阵逼近误差评估138
4.1.3 基于LLM.int8的低秩补偿机制141
4.2 编译优化与图融合技术145
4.2.1 ONNX图优化Pass链设计145
4.2.2 TensorRT融合策略与层缓存分配151
4.2.3 FlashAttention图内核替换技巧156
4.3 分布式推理系统设计160
4.3.1 Zero-Inference策略与激活稀疏管理160
4.3.2 Pipeline Parallel与Token Interleaving163
4.3.3 DeepSpeed Inference引擎集成167
4.4 本章小结171
第5章 模型的多模态能力172
5.1 图文融合建模机制172
5.1.1 CLIP预训练编码器嵌入集成172
5.1.2 图文Token混合输入结构设计173
5.1.3 图像Patch映射到语义空间优化177
5.1.4 VisionEncoder解耦与Prompt Bridge注入181
5.2 语音输入与处理扩展185
5.2.1 Whisper语音识别模型集成路径186
5.2.2 语音指令向文本对齐机制189
5.2.3 文本-to-语音模型适配194
5.3 视频/多帧信息建模技术199
5.3.1 Video-LLaMA框架结构适配199
5.3.2 多帧关键帧提取与时间编码203
5.4 本章小结208
第6章 模型微调与领域自适应技术209
6.1 参数高效微调技术全景209
6.1.1 LoRA结构插入位置策略209
6.1.2 QLoRA量化+低秩协同机制210
6.2 基于QLoRA的资源敏感型训练215
6.2.1 4-bit量化配置与ACT-ordering优化215
6.2.2 NF4量化与相对缩放因子的融合220
6.3 多任务指令微调机制226
6.3.1 Instruction Template通用抽象226
6.3.2 多任务样本采样概率建模228
6.4 本章小结232
第7章 复杂任务的语义推理与规划233
7.1 多步推理路径建模233
7.1.1 CoT Prompt自动插入引擎233
7.1.2 推理路径中的中间验证235
7.1.3 多阶段Token选择236
7.1.4 漏推/误推样本分析与回滚机制242
7.2 数学与符号推理能力增强244
7.2.1 MathInstruct微调语料构建244
7.2.2 算式格式标准化解析模块248
7.2.3 SymPy交互接口集成249
7.3 工具辅助规划任务254
7.3.1 Toolformer任务自动合成框架254
7.3.2 函数调用时机预测模型255
7.4 本章小结263
第8章 系统对话能力增强与上下文处理264
8.1 多轮上下文记忆机制264
8.1.1 Sliding Window策略264
8.1.2 Memory Retrieval + Generation一体化265
8.2 长上下文支持机制272
8.2.1 ALiBi vs RoPE 长程位置编码策略272
8.2.2 Sliding Attention窗口动态缩放机制273
8.3 本章小结278
第9章 模型可控性与响应约束技术279
9.1 响应长度与格式控制机制279
9.1.1 结构化格式约束Template自动注入279
9.1.2 响应Token数量动态预测器280
9.1.3 Decoding阶段格式追踪解码器281
9.2 指令遵循度优化282
9.2.1 Instruction Following Score学习目标283
9.2.2 Prompt模板结构剖析与重写引擎283
9.2.3 Multi-turn Instruction Tracking模块289
9.3 可控情绪与语气表达294
9.3.1 语气Prompt标签与模型响应一致性训练294
9.3.2 风格Embedding注入机制295
9.4 本章小结296
第10章 商业级多智能体系统：企业级自动化知识助手297
10.1 项目背景与系统需求分析297
10.1.1 多角色多Agent并发架构目标298
10.1.2 企业知识密集型任务特性解析299
10.1.3 用户意图多样性与任务转移场景300
10.1.4 跨部门接口接入与权限控制约束301
10.1.5 部署规模、响应延迟与SLA指标307
10.2 多智能体分工协同设计307
10.2.1 CEO、法务、销售、技术等角色Agent建模308
10.2.2 思维链传递与中介Agent设计模式309
10.2.3 工具调用调度中心与任务流引擎309
10.2.4 子任务分解器与上下文派发机制314
10.2.5 Response Stitching模块与多Agent响应合成320
10.3 工具集成与函数调用自动化321
10.3.1 企业内网API函数文档解析自动生成调用描述322
10.3.2 JSON Schema函数注册与工具动态注入机制322
10.3.3 多数据源交叉查询：SQL+Elasticsearch+GraphQL融合328
10.3.4 工具调用链追踪与结果缓存优化330
10.3.5 函数调用错误恢复与信任打分机制336
10.4 上下文记忆与任务链持久化337
10.4.1 KV存储与向量检索混合型短期记忆系统337
10.4.2 Long-Term Task Memory格式化设计（任务+状态+用户偏好）342
10.5 本章小结343
第11章 千亿级知识系统：QwQ-32B驱动的大规模企业RAG检索生成实战344
11.1 场景建模：法律+财务+人力资源文档千亿级知识系统344
11.1.1 法律法规+合同条款+财税规章语料特点344
11.1.2 非结构化、时效性强、多版本内容345
11.1.3 多语言、法律术语、编号引用关系建模347
11.2 文档预处理与Embedding策略348
11.2.1 分层段落切割：标题、条款、说明块粒度控制348
11.2.2 编号结构映射与多粒度索引绑定349
11.2.3 多语种知识混合Embedding训练方案（BGE+LaBSE+Qwen）354
11.3 检索 生成（RAG）管线工程358
11.3.1 基于Faiss/Weaviate/Elasticsearch的异构Retriever融合359
11.3.2 Hybrid Retrieval方案：关键词召回+向量筛选360
11.3.3 Retrieval-Augmented Prompt动态生成器设计360
11.3.4 千亿级知识系统：RAG检索生成实战365
11.4 本章小结385
第12章 开源协作与企业级定制交付实战386
12.1 项目初始化与版本控制规范386
12.1.1 多模型版本组织：Base/INT4/LoRA等多变体管理386
12.1.2 Huggingface Hub + Git LFS大模型文件协同策略387
12.2 企业定制需求工程流程与交付机制388
12.2.1 场景调研与Prompt标准建立工作坊机制388
12.2.2 Triton+vLLM+FastAPI统一服务框架与交付机制389
12.2.3 定制交付实战390
12.3 本章小结395
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
