新書推薦:
《
旷野人生:吉姆·罗杰斯的全球投资探险
》
售價:HK$
75.9
《
笼中王国 : 18世纪法国的珍禽异兽与社会文化
》
售價:HK$
74.8
《
思考的框架3:风靡华尔街的思维训练法
》
售價:HK$
64.9
《
被记忆的西周史(中山大学中珠学术译丛)
》
售價:HK$
151.8
《
森林疗法:拥抱大自然、获得幸福的季节性方法
》
售價:HK$
74.8
《
希腊人(伊恩·莫里斯文明史系列)
》
售價:HK$
185.9
《
亚马逊六页纸 如何高效开会、写作、完成工作
》
售價:HK$
76.8
《
世界巨变:严复的角色(王中江著作系列)
》
售價:HK$
110.0
|
編輯推薦: |
数学是机器学习和数据科学的基础,任何期望涉足相关领域并切实领悟具体技术与方法的人都无法绕过数学这一关。本书系统地整理并介绍了机器学习中所涉及的数学基础,这些都是笔者从浩如烟海的数学知识中精心萃取的,在学习和研究机器学习技术时所必须的内容。具体包括微积分(主要是与*化内容相关的部分)、概率论与数理统计、数值计算、信息论、凸优化、泛函分析基础与变分法,以及蒙特卡洛采样等话题。为了帮助读者加深理解并强化所学,本书还从上述数学基础出发进一步介绍了回归、分类、聚类、流形学习、集成学习,以及概率图模型等机器学习领域中的重要话题。其间,本书将引领读者循序渐进地拆解各路算法的核心设计思想及彼此间的关联关系,并结合具体例子演示基于Python进行实际问题求解的步骤与方法。真正做到理论与实践并重,让读者知其然更知其所以然。本书可作为机器学习及相关课程的教学参考书,适用于高等院校人工智能、机器学习或数据挖掘等相关专业的师生研习之用,也可供从事计算机应用(特别是数据科学相关专业)的研发人员参考。
|
內容簡介: |
数学是机器学习和数据科学的基础,任何期望涉足相关领域并切实领悟具体技术与方法的人都无法绕过数学这一关。本书系统地整理并介绍了机器学习中所涉及的数学基础,这些都是笔者从浩如烟海的数学知识中精心萃取的,在学习和研究机器学习技术时所必须的内容。具体包括微积分(主要是与*化内容相关的部分)、概率论与数理统计、数值计算、信息论、凸优化、泛函分析基础与变分法,以及蒙特卡洛采样等话题。为了帮助读者加深理解并强化所学,本书还从上述数学基础出发进一步介绍了回归、分类、聚类、流形学习、集成学习,以及概率图模型等机器学习领域中的重要话题。其间,本书将引领读者循序渐进地拆解各路算法的核心设计思想及彼此间的关联关系,并结合具体例子演示基于Python进行实际问题求解的步骤与方法。真正做到理论与实践并重,让读者知其然更知其所以然。本书可作为机器学习及相关课程的教学参考书,适用于高等院校人工智能、机器学习或数据挖掘等相关专业的师生研习之用,也可供从事计算机应用(特别是数据科学相关专业)的研发人员参考。
|
關於作者: |
左飞 博士,技术作家、译者。著作涉及人工智能、图像处理和编程语言等多个领域,其中两部作品的繁体版在中国台湾地区发行。同时,他还翻译出版了包括《编码》在内的多部经典著作。曾荣获“受读者喜爱的IT图书作译者奖”。他撰写的技术博客(https://baimafujinji.blog.csdn.net/)非常受欢迎,累计拥有近500万的访问量。
|
目錄:
|
第1章化基础
1.1泰勒公式
1.2黑塞矩阵
1.3正定与半正定矩阵
1.4凸函数与詹森不等式
1.4.1凸函数的概念
1.4.2詹森不等式及其证明
1.4.3詹森不等式的应用
1.5泛函与抽象空间
1.5.1线性空间
1.5.2距离空间
1.5.3赋范空间
1.5.4巴拿赫空间
1.5.5内积空间
1.5.6希尔伯特空间
1.6从泛函到变分法
1.6.1理解泛函的概念
1.6.2关于变分概念
1.6.3变分法的基本方程
1.6.4哈密顿原理
1.6.5等式约束下的变分
第2章概率论基础
2.1概率论的基本概念
2.2随机变量数字特征
2.2.1期望
2.2.2方差
2.2.3矩与矩母函数
2.2.4协方差与协方差矩阵
2.3基本概率分布模型
2.3.1离散概率分布
2.3.2连续概率分布
2.4概率论中的重要定理
2.4.1大数定理
2.4.2中心极限定理
2.5经验分布函数
第3章统计推断
3.1随机采样
3.2参数估计
3.2.1参数估计的基本原理
3.2.2单总体参数区间估计
3.2.3双总体均值差的估计
3.2.4双总体比例差的估计
3.3假设检验
3.3.1基本概念
3.3.2两类错误
3.3.3均值检验
3.4似然估计
3.4.1似然法的基本原理
3.4.2求似然估计的方法
第4章采样方法
4.1蒙特卡洛法求定积分
4.1.1无意识统计学家法则
4.1.2投点法
4.1.3期望法
4.2蒙特卡洛采样
4.2.1逆采样
4.2.2博克斯穆勒变换
4.2.3拒绝采样与自适应拒绝采样
4.3矩阵的极限与马尔可夫链
4.4查普曼柯尔莫哥洛夫等式
4.5马尔可夫链蒙特卡洛方法
4.5.1重要性采样
4.5.2马尔可夫链蒙特卡洛方法的基本概念
4.5.3米特罗波利斯黑斯廷斯算法
4.5.4吉布斯采样
第5章信息论基础
5.1信息论中的熵
5.2微分熵与KullbackLeibler散度
5.2.1微分熵
5.2.2微分熵与香农熵的关系
5.2.3相对熵
5.3率失真函数
5.4香农下边界
第6章一元线性回归
6.1回归分析的性质
6.2回归的基本概念
6.2.1总体的回归函数
6.2.2随机干扰的意义
6.2.3样本的回归函数
6.3回归模型的估计
6.3.1普通小二乘法原理
6.3.2一元线性回归的应用
6.3.3经典模型的基本假定
6.3.4总体方差的无偏估计
6.3.5估计参数的概率分布
6.4正态条件下的模型检验
6.4.1拟合优度的检验
6.4.2整体性假定检验
6.4.3单个参数的检验
6.5一元线性回归模型预测
6.5.1点预测
6.5.2区间预测
第7章多元线性回归
7.1多元线性回归模型
7.2多元回归模型估计
7.2.1小二乘估计量
7.2.2多元回归实例
7.2.3总体参数估计量
7.3从线性代数角度理解小二乘
7.3.1小二乘问题的通解
7.3.2小二乘问题的计算
7.4多元回归模型检验
7.4.1线性回归的显著性
7.4.2回归系数的显著性
7.5多元线性回归模型预测
7.6格兰杰因果关系检验
第8章线性回归进阶
8.1更多回归模型函数形式
8.1.1双对数模型以及生产函数
8.1.2倒数模型与菲利普斯曲线
8.1.3多项式回归模型及其分析
8.2回归模型的评估与选择
8.2.1嵌套模型选择
8.2.2赤池信息准则
8.3现代回归方法的新进展
8.3.1多重共线性
8.3.2从岭回归到LASSO
8.3.3正则化与没有免费午餐原理
8.3.4弹性网络
8.3.5RANSAC
第9章逻辑回归与熵模型
9.1逻辑回归
9.2牛顿法解Logistic回归
9.3应用实例: 二分类问题
9.3.1数据初探
9.3.2建模
9.4多元逻辑回归
9.5熵模型
9.5.1熵原理
9.5.2约束条件
9.5.3模型推导
9.5.4极大似然估计
9.6应用实例: 多分类问题
9.6.1数据初探
9.6.2建模
第10章感知机与神经网络
10.1从感知机开始
10.1.1感知机模型
10.1.2感知机学习
10.1.3多层感知机
10.1.4感知机应用示例
10.2基本神经网络
10.2.1神经网络结构
10.2.2符号标记说明
10.2.3后向传播算法
10.3神经网络实践
10.3.1建模
10.3.2Softmax与神经网络
第11章支持向量机与核方法
11.1线性可分的支持向量机
11.1.1函数距离与几何距离
11.1.2间隔分类器
11.1.3拉格朗日乘数法
11.1.4对偶问题的求解
11.2松弛因子与软间隔模型
11.3非线性支持向量机方法
11.3.1从更高维度上分类
11.3.2非线性核函数方法
11.3.3机器学习中的核方法
11.3.4默瑟定理
11.4对数据进行分类的实践
11.4.1数据分析
11.4.2线性可分的例子
11.4.3线性不可分的例子
第12章决策树
12.1决策树基础
12.1.1Hunt算法
12.1.2基尼测度与划分
12.1.3信息熵与信息增益
12.1.4分类误差
12.2决策树进阶
12.2.1ID3算法
12.2.2C4.5算法
12.3分类回归树
12.4决策树剪枝
12.5决策树应用实例
第13章集成学习
13.1集成学习的理论基础
13.2Bootstrap方法
13.3Bagging与随机森林
13.3.1算法原理
13.3.2应用实例
13.4Boosting与AdaBoost
13.4.1算法原理
13.4.2应用实例
13.5梯度提升
13.5.1梯度提升树与回归
13.5.2梯度提升树与分类
13.5.3梯度提升树的原理推导
第14章聚类分析
14.1聚类的概念
14.2k均值算法
14.2.1距离度量
14.2.2算法描述
14.2.3应用实例——图像的色彩量化
14.3期望算法
14.3.1算法原理
14.3.2收敛探讨
14.4高斯混合模型
14.4.1模型推导
14.4.2应用实例
14.5密度聚类
14.5.1DBSCAN算法
14.5.2应用实例
14.6层次聚类
14.6.1AGNES算法
14.6.2应用实例
14.7谱聚类
14.7.1基本符号
14.7.2拉普拉斯矩阵
14.7.3相似图
14.7.4谱聚类切图
14.7.5算法描述
14.7.6应用实例
第15章矩阵分解、降维与流形学习
15.1主成分分析
15.2奇异值分解
15.2.1一个基本的认识
15.2.2为什么可以做SVD
15.2.3SVD与PCA的关系
15.2.4应用示例与矩阵伪逆
15.3多维标度法
第16章贝叶斯定理及其应用
16.1贝叶斯推断中的基本概念
16.1.1贝叶斯公式与边缘分布
16.1.2先验概率与后验概率
16.1.3共轭分布
16.2朴素贝叶斯分类器原理
16.3贝叶斯网络
16.3.1基本结构单元
16.3.2模型推理
16.4贝叶斯网络的应用示例
16.5隐马尔可夫模型
16.5.1随机过程
16.5.2从时间角度考虑不确定性
16.5.3前向算法
16.5.4维特比算法
附录A数学传奇
参考文献
|
內容試閱:
|
2008年7月25日,美国卡内基梅隆大学计算机系教授兰迪·波许(Randy Pausch),因胰腺癌晚期及并发症去世,享年47岁。波许教授生前曾是人机界面领域的知名专家,国际计算机协会会士(ACM Fellow)。但更令其广为人知的是他于2007年9月(即去世前10个月)所做的一场题为《后一课》(The Last Lecture)的著名演说。这篇演说反响极大,数以百万计的观众在线收看了演讲视频,美国广播电视网将他选为“2007年度人物”之一,《时代》杂志将他列入了“世界上影响的100人”,同名书籍长期位列“纽约时报畅销书(建议类)”榜首。
在这篇演说中,波许教授回顾了自己人生中的若干重要片段,而“墙”这个意象也多次出现。例如在开篇部分,波许教授谈到自己童年的梦想是体验失重状态,但苦于无法实现。直到当上了教授之后,机会似乎终于出现了。美国宇航局(NASA)组织了一次大学生竞赛,优胜团队的奖励便是可以被送到高空,体验25秒的失重状态。波许教授指导的队伍,获得了比赛的名。但NASA 却告诉他,只有学生才能飞上天空,指导老师不行。这样一个奇怪的规则就是挡在波许教授面前,令其无法实现儿时梦想的一堵墙。当然,就像人生中面对过的无数面墙一样,波许教授还是锲而不舍地找到了逾越它的办法。
在后,波许教授语重心长地总结道: “你总会遇到挫折。但是记住,它们的出现并不是没有原因的。砖墙并不是为了挡住我们。它在那里,只是为了测试我们的决心到底有多迫切。它在那里挡住了那些没有强烈决心的人。它不让那些人通过。记住,砖墙的存在是为了显示我们自己付出的决心。它使得我们,同那些并不真的想实现梦想的人得以区分。”
这不禁让我想到了很多希望涉足人工智能与数据科学的初学者在面对数学时的感受。自从深度学习火爆起来之后,深度学习算法工程师、人工智能研究员,以及数据科学家等新兴职位迅速成为大家争相讨论的薪资高地。特别是在谷歌公司的人工智能程序AlphaGo,于曾经一度被认为是人类智慧后堡垒的围棋领域,大败世界冠军李世石后,各大IT名企纷纷成立所谓的人工智能研究院、深度学习实验室。像Geoffrey Hinton、Yann LeCun、Ian Goodfellow、李飞飞和吴恩达等国际知名学者也纷纷被谷歌、Facebook这样的IT巨头高薪延揽。
很多曾经的传统IT从业人员也不免心动,个个摩拳擦掌、跃跃欲试,希望趁早转行赶上AI这趟急速狂奔的列车。毕竟,人往高处走,水往低处流。然而,尽管人工智能和传统IT都是从计算机科学领域发展出来的,但两者之间却有着一堵明显的高墙,这堵高墙便是数学。传统的IT领域更加重视编程,而对数学的要求却相对较弱。但在人工智能学习的各个阶段,数学都是主要的攻坚对象,任何胸怀大志的人工智能学习者都不要幻想绕过数学。
有的人会认为人工智能工具化的趋势已经越发明显。借助现成的各种深度学习框架、函数库、软件包(例如TensorFlow, scikitlearn等),即使不太了解算法背后的具体原理,更无须深究其中的数学细节,一个程序员稍加培训,也能很快训练出一个用于图像识别的深度神经网络。那是不是说明,借助工具化的方法就可以绕过数学这堵高墙了呢?
在一篇题为《放弃幻想,搞 AI 必须过数学关》的网文中,作者提出了这样的观点: “数学不过关的人在AI这个圈子里是无法参与交流的,或者说得直白一点,是被人瞧不起的,根本无法被接纳成为AI圈子里的人。其次,数学不过关而只能调参数的人,
并不能胜任实际工作。后,即便是调参这件事情本身,懂不懂数学也是有很大差别的。”
作为补充,我想回到波许教授有关墙的理论框架。注意,在他眼里,墙的意义总体上是偏向积极的。他认为: 砖墙的存在是为了彰显我们的决心,更将我们与那些并不真的想实现梦想之人区分开来。所以,如果说人工智能相关领域的职位薪资普遍更高,那也无疑是因为墙的存在,导致物以稀为贵的结果。
打个比方,在中华人民共和国建立初期,我国还不能自行生产抗生素。那时,像青霉素这种进口药都奇货可居,贵得离谱。后来,中国可以大规模自行生产青霉素之后,这种药自然就变得非常廉价了。同理,开始能够从事人工智能相关工作的人少,所以薪资才高。毕竟在中国开始的时候就能够熟练使用TensorFlow的程序员肯定不多,那么少数几个还能把这种框架用起来的人薪资高也说得过去。但如果大部分程序员,甚至相关专业本科毕业生都能熟练使用有关框架进行深度学习应用开发,
可想而知,同样职位的薪资后就必然会被统一拉低。这时就更能凸显拥有非对称优势者的价值。就拿调参数这种基本工作来说,“如果你数学不过关,对参数的意义和相关关系理解不深,方向感不强,只能半随机地刷参数,那么工作的单调性和烦琐性
会大大上升,很难坚持到做出好的模型。”何况现实中的很多具体问题都要具体分析,本来就没有放之四海而皆准的模型或算法。于是真的到了需要对算法进行改进,甚至针对具体应用开发新算法的时候,那些不懂原理的调包侠就只能望洋兴叹了。
墙的存在使得真心实现梦想的践行者与其他只会空谈的人得以区别。对于前者,遇到困难和付出努力是难免的。正如荀子所
言,无冥冥之志者,无昭昭之明; 无惛惛之事者,无赫赫之功。真正的人生难道不就是应该在翻过一面面墙的同时,使得自己更加强大的过程吗?或许也只有这样,当你回首往事时,才不会因虚度年华而悔恨,也不会因碌碌无为而羞耻。因为,在这样的过程中,不是你成全了梦想,而是追梦本身成全了你的人生。
数学是机器学习和数据科学的基础,任何期望涉足相关领域并切实领悟具体技术与方法的人都无法绕过数学这一关。本书系统地整理并介绍了机器学习中所涉及的数学基础,这些都是笔者从浩如烟海的数学知识中精心选取的,在学习和研究机器学习技术时所必需的内容。具体包括概率论与数理统计、微积分(主要是与化内容相关的部分)、凸优化及拉格朗日乘数法、数值计算、泛函分析基础(例如核方法赖以建立的希尔伯特空间理论)以及蒙特卡洛采样(拒绝采样、自适应拒绝采样、重要性采样、吉布斯采样和马尔可夫链蒙特卡洛)等内容。此外,为了帮助读者强化所学,本书还从上述数学基础出发,介绍了回归(线性回归、多项式回归、非线性回归、岭回归,以及LASSO等)、分类(感知机、逻辑回归、朴素贝叶斯、决策树、支持向量机、人工神经网络等)、聚类(k均值、EM算法、密度聚类等)、降维与流形学习(SVD、PCA和MDS等)、集成学习(Bootstrap、Bagging、Boosting、AdaBoost与随机森林)以及概率图模型(贝叶斯网络、隐马尔可夫模型)等机器学习中的重要话题。本书可作为机器学习及相关课程的教学参考书,适合高等院校人工智能、机器学习或数据挖掘等相关专业的师生研习之用,也可供从事计算机应用(特别是数据科学相关专业)的研发人员参考。
自知论道须思量,几度无眠一文章。由于时间和能力有限,书中纰漏在所难免,真诚地希望各位读者和专家不吝批评、斧正。如果读者在阅读本书过程中遇到问题,或者有关于本书的各种意见和建议,可以通过在CSDN博客(博客名: 白马负金羁)上留言的方式与我交流。本博客主要关注机器学习、数据挖掘、深度学习及数据科学等话题,提供的很多技术文章
都可以作为本书的补充资料,供广大读者自学时参考。
编者2021年1月
|
|