新書推薦：
《
跟着大厨学炒青菜：素菜不素，一口惊艳！叶菜翠绿、瓜果爽脆、根茎香糯，素菜也能吃出“荤菜感”。
》
售價：HK$
43.8
《
并购手册：整合组织，执行战略和推动新增长的实用指南 乔治·布拉特，杰弗里·普里切特
》
售價：HK$
141.9
《
大学问·伦理与生活：清代的婚姻与社会
》
售價：HK$
107.8
《
制度与轮回：从商周至明清的历史运行
》
售價：HK$
64.9
《
做中国哲学：一些方法论的思考〔增订本〕
》
售價：HK$
85.8
《
奥斯曼帝国衰亡史：1683—1923
》
售價：HK$
151.8
《
构建和平：缔造欧洲解决方案，1945—1963
》
售價：HK$
151.8
《
妙探寻凶
》
售價：HK$
63.8
|
| 編輯推薦： |
本书在总结Transformer模型核心框架的基础上，扩展了基于Transformer模型的其他模型框架，更在基础模型上介绍了基于Transformer模型的优化模型：
■易教易学 系统阐述理论的同时，结合图片展示与代码解析，既为初学者提供容易入门的基础理论，也为广大人工智能领域的学生及研究者提供全面的案例。
■前后衔接 强调知识体系和分析方法的前后连贯性，并妥善处理好内容的衔接性。
■技术前沿 介绍Transformer模型基础理论及Transformer模型的优化模型，并介绍其变体模型（GPT、MoE等）在人工智能领域的新进展。激发读者的学习兴趣，启迪创新思想。
|
| 內容簡介： |
本书以实战项目为主线，以理论基础为核心，引导读者渐进式地学习Transformer模型。
來源：香港大書城megBookStore,http://www.megbook.com.hk
本书分为5篇共17章。Transformer模型基础篇（第1~5章）重点介绍Transformer模型框架。把Transformer模型掰开，从最基础的输入出发，按照模型框架，一点一点走进Transformer模型的内部，直到最终的模型输出；Transformer模型NLP领域篇（第6章和第7章）重点介绍Transformer模型在自然领域中的应用，了解ChatGPT的往事今生；Transformer模型计算机视觉篇（第8~10章）重点介绍Transformer模型在计算机视觉任务中的应用，让Transformer模型可以看到真实的世界；Transformer模型进阶篇（第11~13章）重点介绍Transformer模型在多模态领域上的应用，以及与其他模型的混合模型；Transformer模型实战篇（第14~17章）从环境搭建到NLP领域，计算机视觉领域，音频领域等的代码实战，彻底讲解Transformer模型的运行机制。
本书的每个章节、每个知识点都有对应的代码解析与精美图片展示，让读者能够更加容易理解Transformer模型的各个核心知识点。
本书既适合初学者入门，精心设计的案例对于工作多年的开发者也有参考价值，并可作为高等院校和培训机构相关专业的教学参考书。
|
| 關於作者： |
|
李瑞涛，副高级工程师，武汉理工大学硕士，长期从事智能硬件与软件产品的研究开发工作。自媒体创作者，期坚持撰写人工智能领域技术博客。在各大媒体平台开设人工智能领域视频课程，受广大网友?致好评。
|
| 目錄：
|
Transformer模型基础篇
第1章Transformer综述
1.1Transformer是什么
1.1.1Transformer模型的工作原理
1.1.2Transformer模型的编码器与解码器简介
1.1.3Transformer模型编码器层
1.1.4Transformer模型解码器层
1.1.5Transformer模型残差连接与数据归一化
1.2Transformer模型框架
1.2.1Transformer模型的词嵌入
1.2.2Transformer模型的位置编码
1.2.3Transformer模型的编码器与解码器
1.2.4Transformer模型的最终输出
1.2.5Transformer模型的注意力机制
1.2.6Transformer模型的多头注意力机制
1.2.7Transformer模型的前馈神经网络
1.3本章总结
第2章Transformer模型的输入与输出
2.1Transformer模型的词嵌入
2.1.1Transformer 模型词嵌入的概念
2.1.2Transformer模型词嵌入的代码实现
2.2Transformer 模型的位置编码
2.2.1Transformer 模型位置编码的计算过程
2.2.2Transformer模型位置编码的正余弦函数
2.2.3Transformer 模型位置编码的代码实现
2.3Transformer模型解码器的输入
2.4Transformer模型中的掩码矩阵
2.4.1Transformer模型的Pad Mask
2.4.2Transformer模型的 Sequence Mask
2.4.3Transformer 模型Sequence Mask & Pad Mask的代码实现
2.5Transformer模型的输出
2.5.1Transformer 模型的线性层
2.5.2Transformer模型输出数据的Softmax 操作
2.5.3Transformer模型输出数据的Softmax代码实现
2.6本章总结
第3章Transformer模型的注意力机制
3.1Transformer模型注意力机制的概念
3.1.1Transformer模型的自注意力机制
3.1.2Transformer模型注意力机制中两个矩阵乘法的含义
3.1.3Transformer模型的Softmax操作
3.1.4Transformer模型的注意力矩阵
3.2Transformer模型Q、K、V三矩阵
3.2.1Transformer模型Q、K、V三矩阵的来历
3.2.2Transformer模型Q、K、V矩阵注意力机制的运算
3.3Transformer模型注意力机制中的缩放点积
3.3.1Transformer模型注意力机制的问题
3.3.2Transformer模型注意力机制的缩放点积
3.4Transformer模型注意力机制的代码实现过程
3.5Transformer模型多头注意力机制
3.5.1Transformer模型多头注意力机制的计算公式
3.5.2Transformer模型Qi、Ki、Vi的来历
3.5.3Transformer模型多头注意力机制的计算
3.6Transformer 模型多头注意力机制的代码实现
3.6.1Transformer模型多头注意力机制的代码
3.6.2Transformer模型多头注意力矩阵可视化
3.7本章总结
第4章Transformer模型的残差连接，归一化与前馈神经网络
4.1Transformer模型批归一化与层归一化
4.1.1Transformer模型批归一化
4.1.2Transformer 模型层归一化
4.1.3Transformer模型的层归一化操作
4.1.4Transformer模型层归一化的代码实现
4.2残差神经网络
4.2.1ResNet残差神经网络
4.2.2Transformer模型的残差连接
4.3Transformer模型前馈神经网络
4.3.1Transformer模型前馈神经网络的计算公式
4.3.2激活函数
4.3.3Transformer模型ReLU激活函数
4.3.4Transformer模型前馈神经网络的代码实现
4.4本章总结
第5章Transformer模型搭建
5.1Transformer模型编码器
5.1.1Transformer模型编码器组成
5.1.2Transformer模型编码器层的代码实现
5.1.3搭建Transformer模型编码器
5.2Transformer模型解码器
5.2.1Transformer模型解码器组成
5.2.2Transformer模型解码器层的代码实现
5.2.3搭建Transformer模型解码器
5.3搭建Transformer模型
5.3.1Transformer模型组成
5.3.2Transformer模型的代码实现
5.4Transformer模型训练过程
5.5Transformer模型预测过程
5.6Transformer模型Force Teach
5.7Transformer 模型与RNN模型
5.7.1RNN循环神经网络
5.7.2Transformer模型与RNN模型对比
5.8本章总结
Transformer模型NLP领域篇
第6章Transformer 编码器模型： BERT模型
6.1BERT模型结构
6.1.1BERT模型简介
6.1.2BERT模型构架
6.2BERT模型的输入部分
6.2.1BERT模型的Token Embedding
6.2.2BERT模型的位置编码
6.2.3BERT模型的序列嵌入
6.2.4BERT模型的输入
6.3BERT模型Transformer编码器框架
6.4BERT模型的输出
6.4.1BERT模型的MLM预训练任务
6.4.2BERT模型的NSP预训练任务
6.5BERT模型的微调任务
6.6BERT模型的代码实现
6.6.1BERT模型的特征嵌入
6.6.2BERT模型的自注意力机制
6.6.3BERT模型的多头注意力机制
6.6.4BERT模型的前馈神经网络
6.6.5BERT模型的编码器层
6.6.6BERT模型搭建
6.7本章总结
第7章Transformer 解码器模型： GPT系列模型
7.1GPT模型结构
7.1.1GPT模型简介
7.1.2GPT模型构架
7.2GPT模型的输入部分
7.2.1GPT模型的Token Embedding
7.2.2GPT模型的位置编码
7.3GPT模型的整体框架
7.4GPT模型的无监督预训练
7.5GPT模型的微调任务
7.5.1GPT模型微调
7.5.2GPT模型监督有标签输入
7.6GPT2模型
7.6.1GPT2模型简介
7.6.2GPT2模型的Zeroshot
7.7GPT3模型
7.7.1GPT3模型框架
7.7.2GPT3模型下游任务微调
7.7.3GPT3模型预训练数据集
7.8本章总结
Transformer模型计算机视觉篇
第8章计算机视觉之卷积神经网络
8.1卷积神经网络的概念
8.1.1卷积神经网络的填充、步长和通道数
8.1.2卷积神经网络的卷积核
8.1.3卷积神经网络卷积层
8.1.4卷积神经网络池化层
8.1.5卷积神经网络全连接层
8.1.6卷积神经网络全局平均池化
8.1.7卷积神经网络的感受野
8.1.8卷积神经网络的下采样
8.1.9神经网络中的DropOut
8.2卷积神经网络
8.2.1卷积神经网络模型搭建
8.2.2卷积神经网络LeNet5模型搭建
8.2.3卷积神经网络LeNet5模型的代码实现
8.3卷积神经网络LeNet5手写数字识别
8.3.1MNIST数据集
8.3.2LeNet5手写数字模型训练
8.3.3LeNet5手写数字模型预测
8.4本章总结
第9章Transformer视觉模型： Vision Transformer模型
9.1Vision Transformer模型
9.1.1Vision Transformer模型简介
9.1.2Vision Transformer模型的数据流
9.2Vision Transformer模型的Patch Embedding与位置编码
9.2.1Vision Transformer模型的Patch Embedding
9.2.2Vision Transformer模型Patch Embedding的代码实现
9.2.3Vision Transformer模型的位置编码
9.2.4Vision Transformer模型位置编码的代码实现
9.3Vision Transformer模型编码器层
9.3.1Vision Transformer与标准Transformer编码器层的区别
9.3.2Vision Transformer模型多头注意力机制的代码实现
9.3.3Vision Transformer模型前馈神经网络的代码实现
9.3.4搭建Vision Transformer模型编码器
9.4Vision Transformer输出层的代码实现
9.5搭建Vision Transformer模型
9.6本章总结
第10章Transformer视觉模型： Swin Transformer模型
10.1Swin Transformer模型
10.1.1Swin Transformer模型简介
10.1.2Swin Transformer模型的数据流
10.1.3Swin Transformer窗口注意力机制的框架模型
10.2Swin Transformer模型窗口分割
10.2.1Swin Transformer模型的Patch Embedding
10.2.2Swin Transformer模型Patch Embedding的代码实现
10.2.3Swin Transformer模型窗口分割与窗口复原的代码实现
10.3Swin Transformer模型Patch Merging
10.3.1Swin Transformer模型的Patch Merging操作
10.3.2Swin Transformer模型Patch Merging的代码实现
10.4Swin Transformer模型的位置编码
10.4.1Swin Transformer模型位置编码的来源
10.4.2Swin Transformer模型位置编码的代码实现
10.5Swin Transformer模型移动窗口与掩码矩阵
10.5.1Swin Transformer模型的移动窗口
10.5.2Swin Transformer模型的掩码矩阵
10.5.3Swin Transformer模型移动窗口的代码实现
10.5.4Swin Transformer模型掩码矩阵的代码实现
10.6Swin Transformer模型窗口注意力与移动窗口注意力
10.6.1Swin Transformer模型窗口注意力机制代码
10.6.2Swin Transformer模型移动窗口注意力机制代码
10.7Swin Transformer模型计算复杂度
10.8本章总结
Transformer模型进阶篇
第11章CNN Transformer视觉模型： DETR模型
11.1DETR模型
11.1.1DETR模型框架
11.1.2DETR模型的Transformer框架
11.2DETR模型的代码实现
11.2.1DETR模型搭建
11.2.2基于DETR预训练模型的对象检测
11.3本章总结
第12章Transformer多模态模型
12.1多模态模型简介
12.2Transformer多模态模型： VILT模型
12.2.1VILT模型简介
12.2.2VILT模型的代码实现
12.3Transformer多模态模型： CLIP模型
12.3.1CLIP模型简介
12.3.2CLIP模型的代码实现
12.4本章总结
第13章优化Transformer模型注意力机制
13.1稀疏注意力机制
13.1.1稀疏注意力机制简介
13.1.2稀疏注意力机制的代码实现
13.2Flash Attention
13.2.1标准注意力机制计算过程
13.2.2Flash Attention注意力机制的计算过程
13.2.3Flash Attention注意力机制的代码实现
13.3MoE混合专家模型
13.3.1混合专家模型简介
13.3.2混合专家模型的代码实现
13.4RetNet模型
13.4.1RetNet模型的多尺度保留机制
13.4.2RetNet模型的递归表示
13.4.3RetNet模型的代码实现
13.5本章总结
Transformer模型实战篇
第14章Transformer模型环境搭建
14.1本地Python环境搭建
14.1.1Python环境安装
14.1.2Python安装第三方库
14.2Python云端环境搭建
14.2.1百度飞桨AI Studio云端环境搭建
14.2.2Google Colab云端环境搭建
14.3本章总结
第15章Transformer模型自然语言处理领域实例
15.1基于Transformer模型的机器翻译实例
15.1.1基于Transformer模型的机器翻译模型训练
15.1.2基于Transformer模型的机器翻译模型推理过程
15.2基于Transformer模型的BERT模型应用实例
15.2.1Hugging Face Transformers库
15.2.2基于Transformers库的BERT应用实例
15.2.3训练一个基于BERT模型的文本多分类任务模型
15.3本章总结
第16章Transformer模型计算机视觉领域实例
16.1Vision Transformer模型预训练
16.1.1Vision Transformer模型预训练数据集
16.1.2Vision Transformer模型预训练权重
16.1.3训练Vision Transformer模型
16.1.4使用Vision Transformer预训练模型进行对象分类
16.2Swin Transformer模型实例
16.2.1Swin Transformer预训练模型
16.2.2训练 Swin Transformer模型
16.2.3使用Swin Transformer预训练模型进行对象分类
16.3使用DETR预训练模型进行对象检测
16.4本章总结
第17章Transformer模型音频领域实例
17.1语音识别模型
17.1.1Whisper语音识别模型简介
17.1.2Whisper语音识别模型的代码实现
17.2语音合成模型
17.2.1ChatTTS语音合成模型简介
17.2.2ChatTTS语音合成模型的代码实现
17.3本章总结
参考文献
致谢
|
| 內容試閱：
|
人工智能从广义上来讲，凡是不涉及人类参与的动作或者行为都可以称为“人工智能”。在人工智能初期发展阶段，研究人员试图通过设定复杂的规则与逻辑模拟人类的思维过程，让真正的“人工智能”从科幻小说走进现实生活，但是随着研究的深入，研究人员发现无法通过简单的规则与逻辑来应对现实世界复杂与多变的环境。
20世纪80年代，随着机器学习的兴起，标志着人工智能进入了新的阶段。机器学习强调从数据中学习规律，通过对大量的数据进行训练，机器学习算法可以自动地构建模型，用于预测或决策。机器学习方法显著地提高了人工智能系统的灵活性与适用性，但是机器学习需要人类将大量的数据标注给人工智能模型，让模型去学习所有数据特征，例如如果想让模型识别出一个苹果，就需告诉模型苹果都有哪些特征，符合这些特征的水果便是苹果。机器学习在特征数据搜集上浪费了大量时间。
深度学习的突破引发了人工智能领域又一轮的技术革命。深度学习模仿人类大脑，利用多层的神经网络，能够自动提取数据中的特征，显著地提高了模型的自动识别能力。特别是在图像识别、语音识别和自然语言处理任务上，深度学习取得了显著的成绩，例如让模型同样识别一个苹果，那么就直接告诉模型，这就是一个苹果，其所有的苹果特征由模型的神经网络自动识别提取，大大地提高了模型的表现能力。卷积神经网络与循环神经网络模型作为深度学习的两大代表，分别在图像识别与自然语言处理任务上表现出了强大的能力。
2023年，ChatGPT(智能对话聊天机器人)的流行，让人工智能走进了大众的视野。一直以来人工智能主要是技术专家涉及的领域，但是ChatGPT打破了技术壁垒，让人人可以使用人工智能技术带来的便利。ChatGPT简直是一个“万能通”，不仅熟练掌握各国语言，而且掌握了海量的知识，无论什么问题，ChatGPT都能对答如流。
人工智能技术的发展，让人不仅感慨技术的发展是如此之快，让人目不暇接。虽然很多人对人工智能技术持反对意见，但是并没有阻碍人们对技术的热爱，以及人们对人工智能技术的不断追求，而ChatGPT的盛行，让人对背后的技术产生了浓厚的兴趣。剖析ChatGPT背后的技术，便是一个标准的Transformer模型的解码器。
何为Transformer模型？
传统的循环神经网络在处理长序列输入数据时存在一定的局限性。由于循环神经网络模型具有时间特性，所以模型难以捕捉远距离的依赖关系。Transformer模型是谷歌公司开发人员为机器翻译任务打造的一款模型框架，其主要目的是实现机器翻译任务。Transformer充分使用了GPU硬件资源的优点，开发出了可以并行运算的注意力机制，使模型可以高效地捕捉序列中不同位置之间的关系，而正是注意力机制的优点，让Transformer模型在人工智能领域大放光彩。在自然语言处理、计算机视觉、音频视频领域等，研发人员使用Transformer模型重新打造了不同领域的Transformer模型，让Transformer模型几乎占领了整个人工智能领域。
想了解人工智能技术，进军人工智能领域，Transformer模型必然是一个不可或缺的模型。很多模型借鉴了标准的Transformer模型，并在此基础上更新迭代。
那到底Transformer模型是什么?由哪些细节成功地打造了人工智能领域的半壁江山？
本书将从0到1，彻底讲透Transformer模型，帮助读者深入地理解Transformer模型，并学会将模型应用到实际问题中。本书将从Transformer的基本原理讲起，逐步介绍在自然语言处理、图像识别、音频等领域的应用。扫描目录上方的二维码可下载本书源码。
人工智能的发展不仅改变了人类的生活方式，也为人类探索智慧提供了新的途径。通过学习本书，希望读者不仅能掌握Transformer模型的核心知识，更能从中汲取灵感，投入人工智能的研究与应用中，共同推动人工智能领域不断发展。
本书是作者对Transformer模型的个人理解，难免存在疏漏之处，敬请广大读者批评指正。
李瑞涛
2025年1月于青岛
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
