新書推薦:

《
索恩丛书·伊凡雷帝:俄国的第一位沙皇
》
售價:HK$
141.9
![[共2册]利他性销售+利他式表达全2册正版书籍破解销售密码实现业绩狂飙洞察客户未言明核心需求痛点成交](//img.megbook.hk/upload/mall/productImages/26/10/9787547753248.jpg)
《
[共2册]利他性销售+利他式表达全2册正版书籍破解销售密码实现业绩狂飙洞察客户未言明核心需求痛点成交
》
售價:HK$
151.8

《
折姜(中)
》
售價:HK$
51.5

《
清华大学藏战国竹简校释(伍):《筮法》诸篇
》
售價:HK$
107.8

《
我们都会变有钱:投资的道与术
》
售價:HK$
63.8

《
人体使用指南:没有什么比身体更重要
》
售價:HK$
92.0

《
黄土馆事件
》
售價:HK$
80.2

《
“一国两制”下香港维护国家安全的实践(16开本繁体字版)
》
售價:HK$
18.9
|
| 內容簡介: |
|
机器学习是人工智能的核心实现方式之一,深度学习是机器学习的一种,它基于人工神经网络,通过多层非线性变换提取数据特征。《深度学习基础与实践》系统地介绍了深度学习的核心理论与应用,从人工智能发展历程和机器学习基础讲起,涵盖Python编程、主流框架(TensorFlow、PyTorch等)、神经网络原理(结构、优化、评估)及**模型(MLP、CNN、RNN),并配有手写数字识别、图像分类等实战案例。《深度学习基础与实践》特别设置生成式学习(VAE、GAN)、强化学习、神经算子(DeepONet、PINN)等前沿内容,*后探讨Transformer架构、模型可解释性等热点议题。
|
| 目錄:
|
|
目录前言主要符号表 1 深度学习概述 1 1.1 人工智能浪潮 11.1.1 **次人工智能浪潮 21.1.2 第二次人工智能浪潮 31.1.3 第三次人工智能浪潮 41.2 什么是机器学习? 61.2.1 数据 61.2.2 模型 71.2.3 算法 91.2.4 指标 101.2.5 机器学习与传统编程的区别 101.3 监督学习 111.3.1 分类问题 121.3.2 回归问题 141.4 无监督学习 171.5 半监督学习 211.6 强化学习 221.7 深度学习 24 2 深度学习的编程基础 27 2.1 安装Anaconda开发环境 272.1.1 环境和包的管理 282.1.2 运行Python程序 322.2 Python语言基础 342.2.1 基本数据类型 352.2.2 条件语句 402.2.3 循环语句 422.2.4 函数 472.2.5 类 592.3 Numpy 692.3.1 创建和保存ndarray 702.3.2 Numpy中的函数 742.3.3 ndarray塑形 782.3.4 ndarray中的矩阵代数 812.3.5 ndarray的random模块 822.4 Pandas 852.4.1 主要数据结构 852.4.2 数据的导入与导出 972.4.3 数据操作 1022.4.4 缺失值处理 1092.4.5 描述性统计 1132.4.6 数据可视化 1162.5 Matplotlib 1182.5.1 函数式接口和OO接口 1182.5.2 图形、坐标轴和其他组件 1192.5.3 一些绘图实例 121 3 深度学习框架简介 127 3.1 TensorFlow框架 1273.1.1 核心特点 1273.1.2 TensorFlow的工作流程 1283.1.3 TensorFlow的优势 1283.1.4 张量 1293.2 Keras API 1303.2.1 序贯API 1313.2.2 函数式API 1313.2.3 子类化API 1323.2.4 总结 1323.3 PyTorch框架 1333.3.1 PyTorch的关键特点 1333.3.2 PyTorch的基本使用流程 1363.3.3 总结 1433.4 其他框架 1433.4.1 华为MindSpore 1433.4.2 百度PaddlePaddle 1443.4.3 总结 145 4 深度学习的数学理论 147 4.1 神经网络简介 1474.1.1 神经元 1474.1.2 层 1494.1.3 神经网络 1494.2 激活函数 1504.3 损失函数 1554.3.1 均方误差 1554.3.2 交叉熵 1564.3.3 实例:ILSVRC 2012图片分类任务的损失函数 1584.4 优化器 1584.4.1 小批量随机梯度下降法 1584.4.2 带动量的SGD 1614.4.3 Adagrad 1614.4.4 RMSProp 1624.4.5 Adam 1624.5 评估指标 1634.5.1 数据集的划分 1644.5.2 交叉验证 1654.5.3 过拟合与泛化 166 5 多层感知机模型 169 5.1 感知机简介 1695.1.1 感知机的基本结构 1695.1.2 感知机的工作原理 1695.1.3 感知机的数学公式 1705.1.4 感知机的训练过程 1705.1.5 感知机的优缺点 1715.1.6 总结 1715.2 多层感知机的反向传播算法 1715.2.1 多层感知机简介 1715.2.2 反向传播算法概述 1725.3 mnist手写数字识别问题 1745.3.1 mnist数据集 1755.3.2 建立MLP模型 1765.3.3 训练MLP模型 1795.3.4 绘制学习*线 1805.3.5 评估MLP模型 1825.3.6 利用模型进行预测 1835.3.7 模型训练中的各种时间开销 1855.4 Boston房价预测的回归问题 1865.4.1 Boston房价数据集 1865.4.2 建立MLP回归模型 1885.4.3 训练MLP模型 1905.4.4 评估MLP模型 1915.4.5 用MLP模型进行预测 1915.4.6 建立、训练、评估多元线性回归模型 1915.4.7 MLP与MLR模型对比 193 6 在计算机视觉领域的实践 195 6.1 卷积神经网络 1956.1.1 卷积运算 1966.1.2 填充和步幅 1986.1.3 最大与平均汇聚 1996.2 CNN的典型应用 2006.2.1 图像分类 2006.2.2 目标检测 2016.2.3 图像分割 2016.2.4 风格迁移 2016.2.5 图像生成与超分辨率 2016.2.6 图像描述与视觉问答 2026.2.7 人脸识别与表情分析 2026.2.8 姿态估计 2026.2.9 自动驾驶 2026.2.10 视频分析与处理 2026.3 在mnist数据集上训练CNN模型 2036.3.1 mnist数据集 2046.3.2 建立多层CNN模型 2056.3.3 训练CNN模型 2076.3.4 绘制学习*线 2086.3.5 评估CNN模型 2106.3.6 利用模型进行预测 2116.3.7 模型训练中的各种时间开销 2136.4 **CNN模型简介 2146.4.1 LeNet-5 2146.4.2 AlexNet 2176.4.3 VGGNet 2206.4.4 GoogLeNet 2236.4.5 ResNet 2276.5 图片数据增强 2296.6 解释CNN模型学到的内容 2336.6.1 可视化卷积滤波器 2336.6.2 可视化类激活热力图 2386.6.3 可视化中间激活值 2446.7 DeepDream 249 7 在序列数据学习领域的实践 257 7.1 循环神经网络简介 2577.2 长短期记忆网络 2597.3 门控循环单元 2617.4 在小型时间序列数据集上训练RNN模型 2637.4.1 jena数据集简介 2637.4.2 dense模型 2687.4.3 Conv1D模型 2697.4.4 LSTM模型 2707.5 对文本序列的学习 2717.5.1 自然语言处理概述 2717.5.2 序列到序列的学习 2747.6 文本情感分类 2777.6.1 准备IMDB数据 2797.6.2 词袋模型:BoW 2837.6.3 序列模型:双向LSTM 2877.6.4 序列模型:word embedding 289 8 生成式学习 295 8.1 生成式学习简述 2958.1.1 生成式学习基本方法简述 2958.1.2 生成式学习的应用 2968.1.3 生成式学习的挑战 2978.2 自编码器 2988.2.1 自编码器的结构、原理及特性 2988.2.2 自编码器的类型 2998.2.3 应用领域 3048.3 变分自编码器 3048.3.1 潜变量模型 3048.3.2 非线性潜变量模型 3068.3.3 模型训练 3078.3.4 ELBO性质 3098.3.5 变分近似 3118.3.6 变分自编码器的原理 3128.3.7 重新参数化技巧 3138.3.8 示例:生成与mnist手写数字风格相似的图片 3148.4 生成对抗网络 3198.4.1 GAN的原理 3208.4.2 提高GAN训练稳定性 3238.4.3 示例:利用GAN生成图像 326 9 强化学习 335 9.1 马尔可夫决策过程、回报和策略 3359.1.1 马尔可夫过程 3369.1.2 马尔可夫奖励过程 3369.1.3 马尔可夫决策过程 3379.1.4 部分可观察马尔可夫决策过程 3379.1.5 策略 3389.2 期望回报 3399.2.1 状态值和动作值 3399.2.2 *优策略 3409.2.3 贝尔曼方程 3409.3 表格型强化学习 3419.3.1 动态规划 3429.3.2 蒙特卡洛方法 3429.3.3 时序差分方法 3439.4 拟合Q学习 3449.4.1 利用深度Q网络玩Atari游戏 3449.4.2 双Q学习和双Q深度学习 3469.5 策略梯度方法 3479.5.1 梯度更新的推导 3489.5.2 REINFORCE算法 3509.5.3 基线 3509.5.4 状态依赖的基线 3519.6 Actor-Critic算法 3579.7 离线强化学习 3629.8 讨论 363 10 神经算子 365 10.1 DeepONet 36510.1.1 算子的通用逼近定理 36510.1.2 DeepONet的架构 36610.1.3 DeepONet的学习实例 36910.1.4 DeepONet的优势 37410.2 傅里叶神经算子 37510.2.1 FNO的背景 37610.2.2 FNO的原理 37610.2.3 FNO的架构 37810.2.4 FNO的学习实例 37910.2.5 DeepONet和FNO的比较 38410.3 物理信息神经网络 38510.3.1 正向问题:数据驱动微分方程求解 38510.3.2 逆向问题:数据驱动发现微分方程 392 11 深度学习进阶 399 11.1 预训练模型与微调 39911.1.1 特征提取 39911.1.2 模型微调 40811.2 Transformer架构 41011.2.1 Transformer架构的发展历程 41011.2.2 Transformer架构的核心原理 41011.2.3 Transformer在自然语言处理中的应用 42011.2.4 Transforme
|
| 內容試閱:
|
|
1 深度学习概述 1.1 人工智能浪潮 人工智能(artificial intelligence, AI)是用机器来模拟人类智能(human intelligence)的技术和方法,它的目标是使机器能够执行通常需要人类智能才能完成的任务,比如学习、推理、感知、自然语言理解等。 人工智能可以分为弱人工智能和强人工智能: 弱人工智能:也称为狭义人工智能(narrow AI),是专门针对特定任务的人工智能,这类AI系统能够在特定的任务上接近甚至超越人类水平,比如,语音识别、图像理解、**系统、机器翻译等。 强人工智能:也称为通用人工智能(artificial general intelligence,AGI),它可以像人类一样思考,甚至有知觉和意识,强人工智能涉及思维与意识等根本问题,在技术实现上面临极大的挑战,大部分学者认为短期内难以实现。 机器学习(machine learning,ML)是人工智能的一个子领域,它利用算法让机器通过数据自动学习并改善性能,机器学习主要包括:监督学习(supervised learning)、无监督学习(unsupervised learning)、强化学习(reinforcement learning, RL),而深度学习(deep learning,DL)位于中间位置,与这三个子类都有交集,其中与强化学习的交集称为深度强化学习(deep reinforcement learning),见图1.1。 人工智能的研究经历了几次潮起潮落,下面我们按照时间线来简略回顾一下它的发展历程,其中也穿插了对各种类型的机器学习的介绍。 1.1.1 **次人工智能浪潮 1950年,Alan M. Turing在论文“Computing machinery and intelligence”中提出“Can machines think?”(机器能思考吗)的问题,在文章中,Turing提出了它著名的图灵测试:如果一台机器在与测试者的对话中无法被辨别出它是机器,就称该机器具有智能,见图1.2,一般认为,这篇文章引领了人工智能的研究。 1955年,John McCarthy、Marvin Lee Minsky、Claude Shannon和Nathaniel Rochester四人在标题为“A proposal for the Dartmouth summer research project on artificial intelligence”的提案中,*次提出了artificial intelligence这一术语,根据这个提案,相关会议于1956年暑假在Dartmouth学院召开,因此,1956年被学术界认为是人工智能的元年,并于2006年专门召开了纪念人工智能诞生50周年的会议。 1958年,Frank Rosenblatt提出了感知机(perceptron),它是*早的人工神经网络(artificial neural network, ANN)模型,这种神经网络能够完成简单的线性分类任务,为后来的机器学习和神经网络的发展奠定了基础,感知机的提出引起了神经网络和人工智能研究的**次发展。 在20世纪50年代后期至70年代初期,世界感受到了**次人工智能浪潮,这个时期的人工智能研究主要集中在基于规则的推理、符号处理和问题求解上。 1969年,Minsky和Seymour Papert在《Perceptrons》一书中证明了感知机模型不能解决异或(exclusive or,XOR)这类简单的非线性可分问题,该书的出版直接导致了20世纪70年代至80年代初期的**次“人工智能寒冬”(AI winter),政府和企业投入的资金减少,神经网络的研究也一度停滞不前,直到20世纪80年代中期才有了复兴。 1.1.2 第二次人工智能浪潮 第二次人工智能浪潮发生在20世纪80年代中期至90年代中期,主要助力是专家系统(expert systems)和神经网络反向传播算法的兴起。 专家系统是一种基于知识规则的计算机程序,旨在模拟人类专家在特定领域内的决策和问题解决能力,那个年代*负盛名的两个专家系统如下: 质谱数据分析系统DENDRAL:由Edward Feigenbaum、Bruce Buchanan和Joshua Lederberg等在斯坦福大学从1965年开始研制,以后不断迭代,直到20世纪80年代初期得到较广泛的实际应用,它可以帮助化学家分析质谱数据,极大地提高了人类解析复杂分子结构的效率。 医学诊断专家系统MYCIN:由Edward Shortliffe等从1972年开始研发的医学专家系统,旨在帮助医生诊断和治疗感染性疾病,它使用基于规则的推理(rule-based reasoning)技术,是人工智能和医学结合的早期代表,尽管没有被广泛应用,它的设计理念、技术架构和对专家系统的贡献仍然是人工智能领域的重要一环。 1982年,John J. Hopfield在论文“Neural networks and physical systems with emergent collective computational abilities”中提出了一种具有涌现集体计算能力的神经网络,网络中的神经元是可异步并行处理,这篇论文使当时几乎停滞不前的神经网络研究重新焕发了生机。 1986年,David E. Rumelhart、Geoffrey E. Hinton和Ronald J. Williams提出误差反向传播(back propagation,BP)算法来训练人工神经网络,打破了两层感知机模型的“非线性诅咒”,它通过梯度下降法来反向更新网络中的权重,可以高效地训练多层感知机(multi-layer perceptron,MLP)模型,BP算法提高了在解决非线性分类问题上的强大能力,一经提出便得到了广泛的注意,从而推动了神经网络和人工智能研究的第二次兴盛。 1989年,Yann LeCun等在“Backpropagation applied to handwritten zip code recognition”一文中提出了卷积神经网络(convolutional neural network,CNN),采取BP算法来训练神经网络,并将其应用于美国邮政中的手写数字的自动识别上,这个早期版本的神经网络结构被称为LeNet-1。 1995年,Vladimir Vapnik和Alexey Chervonenkis提出了统计学习理论,并基于此理论发展了支持向量机(support vector machine, SVM)算法。在20世纪90年代后期,受限于知识获取困难、推理能力有限、缺乏学习能力,专家系统逐渐被边缘化,相较于神经网络模型,SVM在小数据集上表现出良好的性能,且拥有严谨的数学理论,提出后很快就把神经网络的研究打入了冷宫,同时政府和企业的投资者对人工智能的期望过高,但AI的应用并没有达到预期,这些因素叠加在一起,导致了第二次“人工智能寒冬”的降临。 1.1.3 第三次人工智能浪潮 1997年,Sepp Hochreiter和Jürgen Schmidhuber提出了长短期记忆(long short-term memory, LSTM)网络,这是一种特殊的循环神经网络(recurrent neural network, RNN),LSTM网络设计用来解决传统RNN在处理长时间序列数据时遇到的梯度消失、梯度爆炸以及长期依赖问题。 1998年,LeCun、Léon Bottou、Yoshua Bengio和Patrick Haffner在“Gradient-based learning applied to document recognition”一文中详细介绍了LeNet-5卷积神经网络架构,证实了CNN模型在手写数字识别上的识别错误率远低于k近邻(k-nearest neighbors,KNN)和SVM等浅层模型。 2006年,Hinton、Simon Osindero和Yee-Whye Teh在文章“A fast learning algorithm for deep belief nets”中提出了深度信念网络(deep belief network, DBN),第一个DBN由多个受限玻尔兹曼机(restricted Boltzmann machine,RBM)堆叠而成,先用对比散度(contrastive divergence, CD)算法逐层贪婪地训练每个RBM,后用BP算法对整个网络进行微调。Hinton和Ruslan R. Salakhutdinov同年发表在科学杂志上的另一篇论文“Reducing the dimensionality of data with neural networks”探讨了用深层神经网络将高维数据非线性地映射到低维空间,证实了该方法在各种数据集上优于传统的线性降维方法,例如主成分分析法(principal component analysis,PCA)。Hinton等的工作有效地解决了深层神经网络的权重初始化,对高维数据特征进行降维和从高维特征解决了长期以来困扰深层网络训练的难题,为后续的神经网络研究和发展奠定了坚实的基础。 2012年,Alex Krizhevsky、Ilya Sutskever和Hinton构建了名为AlexNet的深度卷积神经网络,在当年的ImageNet大规模视觉识别挑战赛(ImageNet large scale visual recognition challenge, ILSVRC)中实现了15.3%的top-5错误率,而获得第2名的算法错误率是26.2%,AlexNet的训练过程中利用了图形处理器(graphics processing units, GPUs)来加速计算,AlexNet的大放异彩激励了更多的学者和企业投入到深度学习的研究中,随后更多优秀的神经网络被研究,研究者一般认为这标志着“深度学习革命”(deep learning revolution)。 2017年,Bengio团队进一步发展和完善了注意力机制(attention mechanism),在深度学习领域引起了广泛关注,尤其是在自然语言处理(natural language processing, NLP)中。 2017年,Vaswani等人发表了“Attention is all you need”这一具有里程碑意义的论文,介绍了Transformer架构,Transformer的提出极大地推动了NLP领域的发展,成为许多后续大语言模型(large language models,LLMs),如GPT系列、BERT系列、LaMA系列的核心架构,通过文本中的长距离依赖、Transformer架构能够通过自注意力机制有效地捕捉文本、语音等序列特征,从而生成更连贯、更符合逻辑的文本内容。 2018年,Hinton、LeCun和Bengio因他们在深度学习领域的杰出贡献共同获得了图灵奖。 2021年,Demis Hassabis和John J.umper团队在《Science》杂志上发表文章“Highly accurate protein structure prediction with AlphaFold”,阐述了如何从蛋白质的氨基酸序列预测三维结构,在CASP14大赛中,它对大部分蛋白质结构的预测与真实结构只差一个原子的宽度,达到了人类被试评价与预测结构的真实结构几乎是完全匹配的精确度,达到了人类被评价为“人工智能系统迄今为止对推动科学知识进步所做出的最大贡献”。
|
|