新書推薦：
《
人类星球：我们如何创造了人类世（企鹅·鹈鹕丛书013）
》
售價：HK$
91.8
《
伏候圣裁：中国古代的君主与政治
》
售價：HK$
98.6
《
艺术图像学研究（第一辑）
》
售價：HK$
188.2
《
摆脱强迫的人生（修订版）
》
售價：HK$
88.5
《
知宋·宋代之司法
》
售價：HK$
99.7
《
空间与政治
》
售價：HK$
87.4
《
少年读三国（全套12册）
》
售價：HK$
490.6
《
不完美之美：日本茶陶的审美变
》
售價：HK$
87.4
|
| 編輯推薦： |
深度强化学习(Deep Reinforcement Leaming，DRL) 是深度学习和强化学习的巧
妙结合，是一种新兴的通用人工智能技术，是人工智能迈向智能决策的重要一步，是机器学习的热点，潜力无限，典型的成功案例是DeepMind AlphaGo和OpenAI Five。深度强化学习可看作在深度学习非线性函数超强拟合能力下，构成的一种新增强算法。目前就深度强化学习而言，需要从三个方面进行积累:第一，深度强化学习的理论基础:第二，深度强化学习的仿真平台:第三，产业落地的项目和产品。
从深度强化学习库以及框架看，学术界PyTorch和工业界Tensor Flow深度学习框架都将前沿成果集成进来。目前已有一些经典的深度强化学习文献和著作，但将深度强化学习理论、工具和实战相结合的著作还是很少，本书的出版恰好填补了这方面的空白。
本书图文并茂地对晦涩难懂的深度强化学习理论进行描述，并结合大量的案例
和应用程序，引导读者边思考边实践，从而逐步加深对深度强化学习的理解，并将这些新方法、新理论和新思想用于自己的研究。本书可作为从事智能机器人控制、计算机视觉、自然语言处理和自动驾驶系统/无
|
| 內容簡介： |
|
我们在与环境交互的过程中进行学习，经历的奖励或惩罚将指导我们未来的行为。深度强化学习将该过程引入人工智能领域，通过分析结果来寻找最有效的前进方式。DRL智能体可提升营销效果、预测股票涨跌，甚至击败**围棋高手和国际象棋大师。 《深度强化学习图解》呈现生动示例，指导你构建深度学习体系。Python代码包含详明、直观的注释，助你深刻理解DRL技术。你将学习算法的运行方式，并学会用评估性反馈来开发自己的DRL智能体。 本书主要内容包括: ●强化学习入门 ●行为与人类似的DRL智 能体 ●在复 杂情况下应用DRL
|
| 關於作者： |
|
Miguel Morales在洛克希德·马丁(Lockheed Martin)公司从事强化学习工作，在佐治亚理工学院担任强化学习与决策课程的讲师。
|
| 目錄：
|
第1章 深度强化学习导论 1
1.1 深度强化学习概念 2
1.1.1 深度强化学习：人工智能的机器学习法 2
1.1.2 深度强化学习着重创建计算机程序 5
1.1.3 智能体解决智能问题 6
1.1.4 智能体通过试错提高性能 8
1.1.5 智能体从惯序性反馈中学习 9
1.1.6 智能体从评估性反馈中学习 10
1.1.7 智能体从抽样性反馈中学习 10
1.1.8 智能体使用强大的非线性函数逼近 11
1.2 深度强化学习的过去、现在与未来 12
1.2.1 人工智能和深度强化学习的发展简史 12
1.2.2 人工智能的寒冬 13
1.2.3 人工智能现状 13
1.2.4 深度强化学习进展 14
1.2.5 未来的机遇 17
1.3 深度强化学习的适用性 18
1.3.1 利弊分析 18
1.3.2 深度强化学习之利 19
1.3.3 深度强化学习之弊 20
1.4 设定明确的双向预期 21
1.4.1 本书的预期 21
1.4.2 本书的最佳使用方式 22
1.4.3 深度强化学习的开发环境 23
1.5 小结 24
第2章 强化学习数学基础 27
2.1 强化学习组成 28
2.1.1 问题、智能体和环境的示例 30
2.1.2 智能体：决策者 31
2.1.3 环境：其余一切 32
2.1.4 智能体与环境交互循环 37
2.2 MDP：环境的引擎 38
2.2.1 状态：环境的特定配置 40
2.2.2 动作：影响环境的机制 43
2.2.3 转换函数：智能体行为的后果 44
2.2.4 奖励信号：胡萝卜和棍棒 46
2.2.5 视界：时间改变最佳选择 49
2.2.6 折扣：未来是不确定的，别太看重它 50
2.2.7 MDP扩展 51
2.2.8 总体回顾 53
2.3 小结 54
第3章 平衡短期目标与长期目标 57
3.1 决策智能体的目标 58
3.1.1 策略：各状态动作指示 62
3.1.2 状态.-.值函数：有何期望 63
3.1.3 动作-值函数：如果这样做，有何期望 64
3.1.4 动作-优势函数：如果这样做，有何进步 65
3.1.5 最优性 66
3.2 规划最优动作顺序 67
3.2.1 策略评估：评级策略 67
3.2.2 策略改进：利用评级得以改善 73
3.2.3 策略迭代：完善改进后的行为 77
3.2.4 价值迭代：早期改进行为 81
3.3 小结 85
第4章 权衡信息收集和运用 87
4.1 解读评估性反馈的挑战 88
4.1.1 老虎机：单状态决策问题 89
4.1.2 后悔值：探索的代价 90
4.1.3 解决MAB环境的方法 91
4.1.4 贪婪策略：总在利用 93
4.1.5 随机策略：总在探索 95
4.1.6 ε.贪婪策略：通常贪婪，时而随机 97
4.1.7 衰减.ε.贪婪策略：先最大化探索，后最大化利用 99
4.1.8 乐观初始化策略：始于相信世界美好 101
4.2 策略型探索 105
4.2.1 柔性最大值策略：根据估计值按比随机选择动作 106
4.2.2 置信上界策略：现实乐观，而非乐观 108
4.2.3 汤普森抽样策略：平衡回报与风险 110
4.3 小结 116
第5章 智能体行为评估 119
5.1 学习估计策略价值 120
5.1.1 首次访问蒙特卡洛：每次迭代后，改善估计 123
5.1.2 蒙特卡洛每次访问：处理状态访问的不同方法 125
5.1.3 时差学习：每步后改进估计 129
5.2 学习从多步进行估算 137
5.2.1 n.步TD学习：经过几步后改进估计 138
5.2.2 前瞻TD(λ)：改进对所有访问状态的估计 141
5.2.3 TD(λ)：在每步之后改进对所有访问状态的估计 143
5.3 小结 151
第6章 智能体行为的优化 153
6.1 对智能体强化学习的解析 154
6.1.1 大多数智能体都要收集经验样本 156
6.1.2 大多数智能体都要评估 157
6.1.3 大多数智能体都要优化策略 159
6.1.4 广义策略迭代 160
6.2 学习动作策略的优化 162
6.2.1 蒙特卡洛控制：在每一迭代后优化策略 163
6.2.2 SARSA：在每一步之后优化策略 169
6.3 从学习中分离动作 173
6.3.1 Q学习：学会最优动作，即使我们不选 173
6.3.2 双Q学习：最大值估计值的最大估计值 177
6.4 小结 184
第7章 更有效、更高效地完成目标 187
7.1 学习使用鲁棒性目标优化策略 188
7.1.1 SARSA(λ)：基于多阶段评估，在每一阶段后优化策略 189
7.1.2 Watkin的Q(λ)：再一次，从学习中分离行为 196
7.2 智能体的交互、学习、计划 200
7.2.1 Dyna-Q：学习样本模型 201
7.2.2 轨迹抽样：为不久的将来做计划 206
7.3 小结 219
第8章 基于价值的深度强化学习 221
8.1 深度强化学习智能体使用的反馈种类 222
8.1.1 深度强化学习智能体处理惯序性反馈 223
8.1.2 如果它不是惯序性反馈，那它是什么 224
8.1.3 深度强化学习智能体处理评估性反馈 225
8.1.4 如果它不是评估性反馈，那它是什么 226
8.1.5 深度强化学习智能体处理抽样性反馈 226
8.1.6 如果它不是抽样性反馈，那它是什么 227
8.2 强化学习中的逼近函数 228
8.2.1 强化学习问题能够拥有高维状态和动作空间 229
8.2.2 强化学习问题可以具有连续的状态和动作空间 229
8.2.3 使用函数逼近有很多优点 231
8.3 NFQ：对基于价值的深入强化学习的第一次尝试 233
8.3.1 第1个决策点：选择逼近一个值函数 234
8.3.2 第2个决策点：选择神经网络体系结构 235
8.3.4 第3个决策点：选择要优化的内容 236
8.3.5 第4个决策点：为策略评估选择目标 238
8.3.6 第5个决策点：选择探索策略 241
8.3.7 第6个决策点：选择损失函数 242
8.3.8 第7个决策点：选择一种最优方法 243
8.3.9 可能出错的事情 248
8.4 小结 250
第9章 更稳定的基于价值方法 253
9.1 DQN：使强化学习更像是监督学习 254
9.1.1 基于价值的深度强化学习的普遍问题 254
9.1.2 使用目标网络 256
9.1.3 使用更大网络 259
9.1.4 使用经验回放 259
9.1.5 使用其他探索策略 263
9.2 双重DQN：减少对动作-值函数的高估 269
9.2.1 高估问题 269
9.2.2 将动作选择从动作评估剥离 270
9.2.3 一个解决方案 271
9.2.4 一个更实用的解决方案 272
9.2.5 一个更宽容的损失函数 275
9.2.6 仍可改进之处 280
9.3 小结 281
第10章 高效抽样的基于价值学习方法 285
10.1 Dueling DDQN：具备强化学习意识的神经网络架构 286
10.1.1 强化学习不属于监督学习问题 286
10.1.2 基于价值的强化学习方法的微妙区别 287
10.1.3 利用优点的优势 288
10.1.4 有意识强化学习框架 289
10.1.5 建立一个Dueling网络架构 290
10.1.6 重构动作-值函数 291
10.1.7 连续更新目标网络 293
10.1.8 Dueling网络能为表格带来什么 294
10.2 PER：优先有意义经验的回放 297
10.2.1 更明智的回放经验方法 297
10.2.2 如何较好地衡量“重要”经验 298
10.2.3 利用TD 误差做出贪婪优先级操作 299
10.2.4 随机对优先的经验进行抽样 300
10.2.5 成比例的优先级 301
10.2.6 基于排名的优先级 302
10.2.7 优先偏倚 303
10.3 小结 309
第11章 策略梯度与actor-critic方法 313
11.1 REINFORCE算法：基于结果策略学习 314
11.1.1 策略梯度法简介 314
11.1.2 策略梯度法之优势 315
11.1.3 直接学习策略 319
11.1.4 减少策略梯度方差 320
11.2 VPG：学习值函数 322
11.2.1 进一步减少策略梯度方差 323
11.2.2 学习值函数 323
11.2.3 鼓励探索 324
11.3 A3C：平行策略更新 328
11.3.1 使用actor工作器 328
11.3.2 使用n-step估计 331
11.3.3 无障碍模型更新 334
11.4 GAE: 稳健优势估计 335
11.5 A2C: 同步策略更新 338
11.5.1 权重分担模型 338
11.5.2 恢复策略更新秩序 340
11.6 小结 346
第12章 高级actor-critic方法 349
12.1 DDPG: 逼近确定性策略 351
12.1.1 DDPG使用DQN中的许多技巧 351
12.1.2 学习确定性策略 353
12.1.3 用确定性策略进行探索 356
12.2 TD3：最先进的DDPG改进 358
12.2.1 DDPG中的双重学习 358
12.2.2 平滑策略更新目标 360
12.2.3 延迟更新 363
12.3 SAC: 最大化预期收益和熵 365
12.3.1 在贝尔曼方程中添加熵 365
12.3.2 学习动作-值函数 366
12.3.3 学习策略 366
12.3.4 自动调整熵系数 367
12.4 PPO: 限制优化步骤 372
12.4.1 使用与A2C相同的actor-critic架构 372
12.4.2 分批处理经验 373
12.4.3 剪裁策略更新 377
12.4.4 剪裁值函数更新 377
12.5 小结 382
第13章 迈向通用人工智能 385
13.1 已涵盖的以及未特别提及的内容 386
13.1.1 马尔可夫决策过程 387
13.1.2 规划法 388
13.1.3 Bandit法 389
13.1.4 表格型强化学习 390
13.1.5 基于值函数的深度强化学习 391
13.1.6 基于策略的深度强化学习和actor-critic深度强化学习 392
13.1.7 高级actor-critic技术 392
13.1.8 基于模型的深度强化学习 393
13.1.9 无梯度优化方法 395
13.2 更多AGI高级概念 397
13.2.1 什么是AGI 397
13.2.2 高级探索策略 399
13.2.3 逆强化学习 399
13.2.4 迁移学习 400
13.2.5 多任务学习 401
13.2.6 课程学习 401
13.2.7 元学习 402
13.2.8 分层强化学习 402
13.2.9 多智能体强化学习 402
13.2.10 可解释AI、安全、公平和道德标准 403
13.3 接下来是什么 404
13.3.1 如何用DRL解决特定问题 404
13.3.2 继续前进 405
13.3.3 从现在开始，放下本书 406
13.4 小结 407
|
| 內容試閱：
|
本书是深度强化学习理论与实践的桥梁。本书内容适用于熟悉机器学习技术，想要学习强化学习的读者。本书开篇将介绍深度强化学习的基础知识。随后深入探索深度强化学习的算法和技术，最后会提供一份具有潜在影响力的先进技术调查。
本书适用对象
熟悉深度强化学习领域、Python代码、一些数学知识，能够运用大量直观解释和有趣而具体的例子来推动学习的人，会喜欢本书。此外，任何熟悉Python的人都能学习到很多知识。即使DL知识不扎实，本书也能帮助读者对神经网络和反向传播及相关技术进行简单复习。最重要的是，本书不依赖于其他书，任何想简单了解AI智能体和深度强化学习的读者都能通过阅读本书达到目的。
本书结构
本书共13章，大致可分为两部分，前一部分包括１～5章，后一部分包括6～
13章。
第1章是深度强化学习导论，介绍深度强化学习的概念，讲述本书的最佳使用方式。第2章涵盖强化学习的概念、数学基础和多智能体强化学习框架等内容。第3章通过最佳行为策略算法来解决惯序决策问题，学习妥善平衡短期目标与长期目标的方法。第4章以多臂老虎机为例，探索策略，来解决未知转换函数与奖励信号的问题，合理权衡信息收集与信息运用。第5章评估智能体的行为。第6章介绍在转换函数和奖励函数未知的情况下，构造强化学习环境中的优化策略，训练优化的智能体行为。第7章讲述如何基于动态规划思想来优化强化学习，从而获得更高效的实现目标。第8章介绍基于价值的深度强化学习。第9章探索函数逼近和基于价值的深度强化学习。第10章探索高效抽样的价值深度强化学习方法。第11章探索策略梯度和actor-critic方法。第12章探索高级actor-critic方法。第13章讨论通用人工智能的未来发展方向。
关于代码
本书在“Python讲解”栏目中列举了许多源代码示例。源代码使用等宽字体进行格式化，这样就可与普通文本区分开，并添加有序的高亮突出显示，这样能使它更易于阅读。
大多数情况下，原始源代码已被重新格式化，本书添加了换行符、重命名变量并重新调整了缩进，以适应书中可用的页面空间。即使如此，在极少数情况下页面空间也还不够，Python中包括行连续操作符代码，即反斜杠 (\\)，指示语句在下一行继续。
此外，源代码中的注释经常会被删除，文本仅描述代码。代码注释指出重要的概念。
可扫描封底二维码下载本书的示例代码。
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
