新書推薦：
《
人生是旷野啊
》
售價：HK$
72.8
《
甲骨文丛书· “安国之道”：英国的殖民情报系统及其在亚洲的扩张
》
售價：HK$
88.5
《
台北人（2024版）
》
售價：HK$
87.4
《
让孩子更有力量：赋权型家庭教育指南
》
售價：HK$
67.0
《
白夜追凶（上下）
》
售價：HK$
109.8
《
财富、战争与智慧——二战股市风云录
》
售價：HK$
132.2
《
低空经济：中国经济发展新引擎
》
售價：HK$
88.5
《
汉字学理与小学汉字教学
》
售價：HK$
89.6
|
| 編輯推薦： |
《大数据技术概论（微课版）》首先概述大数据技术的基本概念、大数据时代的基本特征、大数据支撑技术、历史沿革，然后介绍了大数据的结余和挑战，大数据的应用场景、大数据平台与生态圈、大数据采集与预处理、大数据存储、大数据分析与挖掘、大数据可视化、大数据技术及业务解决方案。全书共11章，内容全面、经典。
《大数据技术概论（微课版）》篇幅适中，层次分明，条理清楚，图文并茂，深入浅出、详略得当、 项目任务，易读易懂。《大数据技术概论（微课版）》重点特色为全面介绍大数据Hadoop平台及生态圈技术、大数据全产业链应用及大数据应用解决方案及典型案例的介绍。
|
| 內容簡介： |
|
《大数据技术概论（微课版）》以项目、任务驱动的方式组织内容，以大数据产业链六大产业环节为核心构建逻辑，采用新形态活页的形式进行组织编写。《大数据技术概论（微课版）》共10个项目，包括认识大数据、了解大数据产业、大数据平台与生态圈、大数据采集、大数据存储、大数据预处理、大数据分析与挖掘、大数据可视化、中国信创与大数据中台、大数据应用综合平台典型案例等内容。《大数据技术概论（微课版）》注重课程思政及教学过程考核评价，每个项目的任务评估、项目总结、项目拓展训练、项目评价等环节可以更好地帮助读者学好教材内容，同时又能拓展知识面，提高读者的综合能力，达到活学活用、举一反三的目的。 《大数据技术概论（微课版）》内容丰富，结构新颖，将新业态、新技术、新规范、新标准融入教材，体现了“三教”改革核心思想，是一本全面了解大数据技术的书籍。《大数据技术概论（微课版）》既适合作为高职高专、职业本科及应用型本科电子信息大类各专业大数据技术概论相关课程的教材，又可作为大数据技术领域相关工作人员的参考书。
|
| 關於作者： |
《大数据技术概论（微课版）》首先概述大数据技术的基本概念、大数据时代的基本特征、大数据支撑技术、历史沿革，然后介绍了大数据的结余和挑战，大数据的应用场景、大数据平台与生态圈、大数据采集与预处理、大数据存储、大数据分析与挖掘、大数据可视化、大数据技术及业务解决方案。全书共11章，内容全面、经典。
《大数据技术概论（微课版）》篇幅适中，层次分明，条理清楚，图文并茂，深入浅出、详略得当、 项目任务，易读易懂。《大数据技术概论（微课版）》重点特色为全面介绍大数据Hadoop平台及生态圈技术、大数据全产业链应用及大数据应用解决方案及典型案例的介绍。
|
| 目錄：
|
项目1 认识大数据 1
任务1.1 大数据时代 2
1.1.1 大数据时代的来临 2
1.1.2 大数据时代的发展 5
【任务评估】 9
任务1.2 什么是大数据 11
1.2.1 大数据的定义 11
1.2.2 大数据的特征 12
1.2.3 大数据的结构类型 13
1.2.4 数据科学与大数据 14
【任务评估】 15
任务1.3 大数据与其他新兴技术 17
1.3.1 云计算 17
1.3.2 物联网 19
1.3.3 人工智能 20
【任务评估】 21
项目总结 23
项目拓展训练 23
项目评价 25
项目2 了解大数据产业 27
任务2.1 区域大数据发展水平 28
2.1.1 总体概况 29
2.1.2 基础环境 31
2.1.3 产业发展 33
2.1.4 行业应用 34
【任务评估】 37
任务2.2 行业大数据发展水平 39
2.2.1 总体评价 39
2.2.2 发展特点 40
【任务评估】 43
任务2.3 大数据企业发展水平 45
2.3.1 大数据企业榜单 45
2.3.2 大数据企业细分领域 47
【任务评估】 49
任务2.4 大数据产业发展规划及
发展趋势 51
2.4.1 大数据产业发展规划 51
2.4.2 大数据产业发展趋势 54
【任务评估】 57
任务2.5 大数据产业人才需求 59
2.5.1 大数据产业人才需求概况 59
2.5.2 大数据产业人才能力要求 60
2.5.3 大数据产业人才及岗位分类 61
2.5.4 大数据产业人才与专业的
关系 61
【任务评估】 63
项目总结 65
项目拓展训练 65
项目评价 67
项目3 大数据平台与生态圈 69
任务3.1 认识Hadoop大数据平台 70
3.1.1 Hadoop的前世今生 71
3.1.2 Hadoop的特性 73
3.1.3 Hadoop核心组件 73
【任务评估】 79
任务3.2 Hadoop生态圈 81
3.2.1 Hadoop生态圈组件 81
3.2.2 Hadoop版本介绍 85
【任务评估】 87
任务3.3 认识Spark技术架构 89
3.3.1 Spark的发展 89
3.3.2 Spark与Hadoop的区别 90
3.3.3 Spark的运行架构与运行
流程 91
3.3.4 Spark生态圈 93
3.3.5 Spark运行模式 94
3.3.6 Spark的应用场景 95
【任务评估】 97
任务3.4 大数据计算架构 99
3.4.1 离线计算架构 99
3.4.2 实时计算架构 100
【任务评估】 103
项目总结 105
项目拓展训练 105
项目评价 107
项目4 大数据采集 109
任务4.1 了解大数据采集 110
4.1.1 数据采集的概念 110
4.1.2 数据采集的数据源 111
【任务评估】 113
任务4.2 大数据采集的方法与工具 115
4.2.1 日志采集系统 115
4.2.2 网络数据采集 116
4.2.3 数据库采集 118
4.2.4 分布式消息订阅 118
【任务评估】 121
项目总结 123
项目拓展训练 123
项目评价 125
项目5 大数据存储 127
任务5.1 大数据存储概述 128
5.1.1 大数据存储的概念 128
5.1.2 大数据存储的类型 129
5.1.3 大数据存储的关键技术 131
【任务评估】 133
任务5.2 大数据存储的方式 135
5.2.1 分布式存储 135
5.2.2 数据仓库 139
5.2.3 NoSQL数据库 143
5.2.4 NewSQL数据库 144
5.2.5 云数据库 145
【任务评估】 147
任务5.3 了解NoSQL数据库工具 149
5.3.1 HBase 149
5.3.2 MongoDB 150
5.3.3 Redis 153
5.3.4 LevelDB 154
5.3.5 Neo4j 155
【任务评估】 157
任务5.4 大数据安全 159
5.4.1 大数据安全概述 159
5.4.2 大数据安全体系 160
5.4.3 大数据安全关键技术 161
5.4.4 大数据安全法律法规 161
【任务评估】 165
项目总结 167
项目拓展训练 167
项目评价 169
项目6 大数据预处理 171
任务6.1 认识数据清洗 173
6.1.1 数据清洗的定义 173
6.1.2 数据清洗的原理 173
6.1.3 数据清洗的流程 174
6.1.4 数据清洗的方法 175
6.1.5 认识ETL 180
【任务评估】 183
任务6.2 数据清洗的常用工具 185
6.2.1 Excel 185
6.2.2 Kettle 186
6.2.3 DataCleaner 186
6.2.4 OpenRefine 187
6.2.5 Smartbi 187
【任务评估】 189
任务6.3 数据转换 191
6.3.1 数据离散化 191
6.3.2 数据平滑 193
6.3.3 属性构造 194
6.3.4 数据聚合 195
6.3.5 数据规范化 196
【任务评估】 199
任务6.4 数据标准 201
6.4.1 数据标准的概念 201
6.4.2 数据标准的分类 201
6.4.3 数据标准的管理 202
6.4.4 数据标准与数据资产的
关系 205
【任务评估】 207
任务6.5 数据质量与数据脱敏 209
6.5.1 数据质量的定义 209
6.5.2 数据质量的常见问题 210
6.5.3 数据脱敏 211
【任务评估】 213
项目总结 215
项目拓展训练 215
项目评价 217
项目7 大数据分析与挖掘 219
任务7.1 大数据分析 220
7.1.1 大数据分析的概念 221
7.1.2 大数据分析的流程 222
7.1.3 大数据分析的方法 222
7.1.4 大数据分析工具库 225
【任务评估】 229
任务7.2 数据挖掘 231
7.2.1 数据挖掘的概念 231
7.2.2 数据挖掘算法 234
7.2.3 大数据挖掘工具 235
【任务评估】 237
项目总结 239
项目拓展训练 239
项目评价 241
项目8 大数据可视化 243
任务8.1 数据可视化基础 244
8.1.1 数据可视化的概念 244
8.1.2 数据可视化的发展 244
8.1.3 数据可视化的优势 246
8.1.4 数据可视化的方法 247
【任务评估】 249
任务8.2 数据可视化常用图表 251
8.2.1 常用图表介绍 251
8.2.2 图表的选择与应用 260
【任务评估】 261
任务8.3 大数据可视化常用工具 263
8.3.1 大数据可视化工具 263
8.3.2 大数据可视化开源库 263
【任务评估】 265
项目总结 267
项目拓展训练 267
项目评价 269
项目9 中国信创与大数据中台 271
任务9.1 什么是信创 273
9.1.1 信创的概念 273
9.1.2 信创的发展历程 274
【任务评估】 277
任务9.2 信创的现状和发展前景 279
9.2.1 信创的现状 279
9.2.2 信创的发展前景 282
【任务评估】 285
任务9.3 信创之大数据中台 287
9.3.1 产品概述 287
9.3.2 产品优势 289
9.3.3 产品架构 291
9.3.4 产品适用场景 293
【任务评估】 297
项目总结 299
项目拓展训练 299
项目评价 301
项目10 大数据应用综合平台
典型案例 303
任务10.1 某市智慧城市建设项目
案例 304
10.1.1 项目背景 304
10.1.2 建设目标 305
10.1.3 技术架构 305
10.1.4 建设成效 306
【任务评估】 309
任务10.2 某市高新区城市驾驶舱平台
建设项目案例 311
10.2.1 项目背景 311
10.2.2 建设目标 311
10.2.3 技术架构 311
10.2.4 建设成效 312
【任务评估】 315
任务10.3 养老保险全国统筹数据平台
建设项目案例 317
10.3.1 项目背景 317
10.3.2 建设目标 317
10.3.3 技术架构 318
10.3.4 建设成效 319
【任务评估】 321
项目总结 323
项目拓展训练 323
项目评价 325
参考文献 327
|
| 內容試閱：
|
前 言
当今社会，随着信息技术的深入应用，全球数据呈现出爆发式增长、海量聚集的发展态势。大数据被认为是继信息化和互联网后信息革命的又一次高峰，“跨界、融合、基础、突破”是大数据落地的关键，其在“产业化、行业化、智能化”方面不断赋能实体经济，成为产业关注重点。“数据驱动”更加深入人心，数据成为新型的生产要素；数据要素市场的培育是重中之重，“数据要素”“数据治理”“数据安全”成为大数据发展的关键词。
2021年3月，《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》指出：迎接数字时代，激活数据要素潜能，推进网络强国建设，加快建设数字经济、数字社会、数字政府，以数字化转型整体驱动生产方式、生活方式和治理方式变革。
2021年11月，国家发布了《“十四五”大数据产业发展规划》，在该规划文件的指导思想中提出要以释放数据要素价值为导向，同时，“安全”也成为该规划文件中出现的高频词之一，“安全保障”成为大数据五大产品和服务体系的重要组成部分，数据安全产业成为大数据产业的发力重点。随着大数据产业的深入发展，数据已广泛应用于民生服务、产业变革、经济发展等方面，且发挥了重要作用，并作为新的生产要素参与价值分配。因此，进一步激活并释放数据要素价值成为大数据产业高质量发展的关键，以大数据为重点的数字产业迎来了新的发展机遇。
大数据产业是以数据采集、交易、存储、加工、分析、服务为主的各类经济活动，包括数据资源建设、大数据软/硬件产品的开发、销售和租赁活动，以及相关信息技术服务。从整体来看，数据资源、基础设施、数据服务、融合应用、安全保障是大数据产业的五大组成部分，形成了完整的大数据产业生态。
信创(信息技术应用创新)产业发展是目前的一项国家战略，也是当今形势下国家经济发展的新动能。信创产业发展已经成为经济数字化转型、提升产业链发展的关键。从技术体系引进、强化产业基础、加强保障能力等方面着手，促进信创产业在本地落地生根，能带动传统IT产业转型，构建区域级产业聚集集群。我们要逐步建立基于自主的IT底层架构和标准，形成自主开放生态，而这也是信创产业的核心。在我国信创产业背景下，大数据中台产品应运而生。
根据以上介绍可以看出，在当前我国信创产业背景下，全面认识和了解大数据技术、大数据产业显得尤为重要。因此，本书作者主要面向高等院校高职高专、职业本科及应用型本科电子信息大类各专业的学生学习大数据技术概论编写了此书，同时本书也可作为大数据技术领域相关工作人员的参考书。
本书共分为10个项目，各项目内容介绍如下。
项目1主要介绍了大数据时代背景、什么是大数据以及大数据与其他新兴技术之间的联系等内容。通过对本项目的学习与实践，读者可以认识和了解大数据的概念，大数据时代的发展，大数据的定义、特征、类型，以及大数据与云计算、物联网、人工智能等新技术的关系。
项目2主要介绍了区域大数据发展水平、行业大数据发展水平、大数据企业发展水平、大数据产业发展规划及发展趋势、大数据产业人才需求等内容。通过对本项目的学习与实践，读者可以基本学会如何从中国大数据产业发展演进、基础设施、政策体系、创新载体、人才培育等产业发展要素的现状了解大数据产业发展水平，并学会评估、分析大数据发展的基本思路，研判大数据在软/硬件产品、基础设施和应用服务等领域的热点布局，从而提出大数据产业发展的新趋势，以及学会了解与收集大数据产业人才需求信息。
项目3主要介绍了Hadoop大数据平台、Hadoop生态圈、Spark技术架构，以及大数据离线计算架构、实时计算架构等内容。通过对本项目的学习与实践，读者可以了解大数据Hadoop平台及生态圈技术，以及基于大数据平台的离线计算架构和实时计算架构。
项目4主要介绍了什么是大数据采集技术、数据源的类别，以及大数据采集的方法和工具等内容。通过对本项目的学习与实践，读者可以了解大数据采集的概念、大数据采集的数据来源的分类，以及多种大数据采集工具，包括日志采集工具、网络数据采集工具、数据库采集工具等，并学会根据不同的应用场景选用不同的采集工具。
项目5主要介绍了大数据存储的概念、大数据存储的类型、大数据存储的关键技术、大数据存储的方式、NoSQL数据库工具及大数据安全等内容。通过对本项目的学习与实践，读者可以学习并了解大数据存储的概念、类型、关键技术，以及大数据存储方式的选择、NoSQL数据库工具的使用、大数据安全技术等内容。
项目6主要介绍了数据清洗的定义、原理、流程、方法及ETL，以及数据清洗的常用工具、数据转换、数据标准、数据质量与数据脱敏等大数据预处理技术相关内容。通过对本项目的学习与实践，读者可以学习并了解数据清洗、数据标准、ETL、数据清洗工具的使用、数据转换方法、数据质量与数据脱敏算法的使用等大数据预处理技术。
项目7主要介绍了大数据分析的概念、流程、方法、工具库，以及数据挖掘的概念、算法、工具等大数据分析与挖掘技术的相关内容。通过对本项目的学习与实践，读者可以了解大数据分析的概念、流程、方法及分析工具的使用，以及数据挖掘算法和大数据挖掘工具的使用等大数据分析与挖掘技术。
项目8主要介绍了大数据可视化的概念、发展、优势，数据可视化的方法，以及常用图表、大数据可视化工具、大数据可视化开源库等大数据可视化技术相关内容。通过对本项目的学习与实践，读者可以了解大数据可视化的相关知识，理解常用的可视化方法论，掌握简单的可视化工具的使用方法。
项目9主要介绍了信创的概念、信创的发展历程、信创的现状和发展前景、大数据中台产品等内容。通过对本项目的学习与实践，读者可以了解信创的概念、信创的时代背景、信创的发展历程、信创的现状及信创的发展前景，掌握大数据中台产品的研发背景、产品目标、产品定位、产品优势、产品的功能架构、产品的技术架构，以及大数据中台产品的适用场景。
项目10主要介绍了三个大数据应用综合平台典型案例，分别是某市智慧城市建设项目案例、某市高新区城市驾驶舱平台建设项目案例及养老保险全国统筹数据平台建设项目案例。通过对本项目的学习与实践，读者可以了解三个大数据应用案例的背景、建设目标、技术架构、建设成效等方面的内容，为日后从事大数据技术相关工作岗位及编制大数据治理综合应用平台行业解决方案提供案例项目参考。
本书由重庆城市管理职业学院汪忆、周沁、张二兵以及中国电子系统技术有限公司胡斌编写，具体分工为：项目1、项目2、项目5、项目9由汪忆编写，项目3、项目4由张二兵编写，项目6、项目7、项目8由周沁编写，项目10由胡斌编写。汪忆负责全书的逻辑框架设计与统稿工作，中国电子系统技术有限公司熊小东、任冬梅、孙亮参与了本书的审阅、勘误和资料整理工作，中国电子系统技术有限公司提供了飞瞰数据中台产品、典型项目案例资料并参与了本书案例的设计。同时，本书的编写工作得到了学校领导、同事的大力支持和帮助，在此一并表示衷心的感谢！
本书在编写过程中参考了许多相关的文献资料，在此向这些文献的作者表示衷心的感谢！虽然编者在编写过程中进行了精心组织，但限于经验和水平，书中难免存在疏漏和不足之处，在此，恳请广大读者给予批评和指正，以便在今后的修订中改进完善。
编 者
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
