新書推薦:
《
郊庙之外:隋唐国家祭祀与宗教 增订版 (三联·哈佛燕京学术丛书)
》
售價:HK$
105.6
《
小麦文明:“黄金石油”争夺战
》
售價:HK$
97.9
《
悬壶杂记全集:老中医多年临证经验总结(套装3册) 中医医案诊疗思路和处方药应用
》
售價:HK$
135.1
《
无法忍受谎言的人:一个调查记者的三十年
》
售價:HK$
63.8
《
战争社会学专论
》
售價:HK$
118.8
《
剑桥意大利戏剧史(剑桥世界戏剧史译丛)
》
售價:HK$
162.8
《
教育何用:重估教育的价值
》
售價:HK$
65.8
《
理想城市:环境与诗性
》
售價:HK$
85.8
|
編輯推薦: |
读者不需要很深的数学基础,通过本书能够从实践中学习大数据思维、原理和方法;
不仅理工科学生要掌握大数据技术,非理工科的学生也要掌握*基本的大数据技术,本书适合各类相关专业。
|
內容簡介: |
本书以面向应用、面向实战为指导思想,紧扣企业技术人才培养的特点,在知识点讲解和实验中避免复杂的理论,使读者能快速上手体验、验证大数据处理的魅力,以激发读者的学习兴趣。
本书覆盖了大数据生命周期中的主要技术要点,全书共8章,第1章介绍大数据的产生和特点及思维的变革,第2章了解大数据生态系统,第3~7章按照大数据的生命周期,分别讨论大数据采集与预处理、大数据管理、大数据分析、大数据可视化、大数据应用的基本原理和方法,第8章讨论大数据安全面临的挑战。
本书可作为本科、高职院校大数据技术或数据科学课程的参考书或教材,也可供数据科学相关技术人员阅读。
|
目錄:
|
目录
前言
第1章概论1
1.1揭秘大数据1
1.1.1大数据产生历史必然1
1.1.2大数据概念和特征2
1.1.3大数据生命周期3
1.1.4大数据与物联网、云计算、人工智能5
1.1.5大数据时代的八个重大变革5
1.2Linux系统概述7
1.2.1Linux版本7
1.2.2Linux系统目录结构7
1.2.3文本编辑器vi9
1.2.4文件权限解读10
1.2.5Linux系统常用命令11
习题112
实验报告1Linux实验13
第2章大数据生态系统15
2.1认识Hadoop15
2.2HDFS16
2.2.1HDFS体系结构16
2.2.2HDFS存储原理17
2.2.3HDFS常用操作20
2.3MapReduce21
2.3.1MapReduce逻辑结构21
2.3.2MapReduce操作案例23
*2.4Zookeeper24
习题225
实验报告2Hadoop实验27
第3章大数据采集与预处理29
3.1数据29
3.1.1数据是什么29
3.1.2数据分类29
3.1.3度量和维度31
3.2数据采集32
3.2.1数据采集分类32
3.2.2数据采集方法32
3.2.3数据采集工具32
3.3数据清洗34
3.3.1数据清洗任务34
3.3.2数据清洗过程34
3.4数据变换35
3.4.1规范化36
3.4.2函数变换36
3.5网络爬虫37
3.5.1爬虫简介37
*3.5.2论坛爬虫源代码分析38
习题340
*实验报告3网络爬虫41
第4章大数据管理42
4.1NoSQL42
4.1.1NoSQL概述42
4.1.2键值数据库43
4.1.3图数据库44
4.1.4文档数据库45
4.1.5列式数据库47
4.1.6云数据库47
4.2HBase47
4.2.1HBase模型47
4.2.2HBase与传统关系数据库的对比分析49
4.2.3HBase系统架构49
4.2.4HBase常用Shell命令51
习题452
实验报告4HBase实验53
第5章大数据分析54
5.1大数据分析概述54
5.1.1数据分析原则54
5.1.2大数据分析特点54
5.1.3大数据分析流程55
5.1.4数据分析师基本技能和素质57
*5.1.5大数据分析难点58
*5.2业务理解59
5.2.1什么是业务理解59
5.2.2如何理解业务60
5.2.3数据业务化61
5.3数据认知63
5.3.1数据预处理63
5.3.2概率分析63
*5.3.3对比分析67
*5.3.4细分分析68
*5.3.5交叉分析69
5.3.6相关分析69
5.4特征工程72
5.4.1特征工程面临的挑战72
5.4.2特征选择72
5.4.3特征提取72
5.4.4指标设计73
5.5数据建模76
5.5.1模型分类76
5.5.2决策树77
5.5.3关联分析81
5.5.4回归分析82
5.5.5聚类分析85
*5.5.6k-邻近分类算法KNN86
*5.6通用计算引擎Spark86
5.6.1Spark简介86
5.6.2Spark与Hadoop差异88
5.6.3Spark适用场景88
5.6.4Spark运行模式89
5.6.5Spark常用术语89
5.7大数据分析引擎Hive89
5.7.1数据仓库概念89
5.7.2传统数据仓库的问题90
5.7.3Hive特征90
5.7.4Hive系统架构90
5.7.5Hive应用案例91
习题595
实验报告5Hive实验101
第6章大数据可视化102
6.1数据可视化基本概念102
6.1.1为什么要数据可视化102
6.1.2什么是数据可视化103
6.1.3数据可视化的作用104
6.1.4数据可视化术语104
6.1.5数据可视化三要素105
6.2常用图形105
6.2.1饼图(扇形图)105
6.2.2堆积柱形图106
6.2.3风玫瑰图106
6.2.4柱状图107
6.2.5直方图107
6.2.6气泡图108
6.2.7散点图矩阵108
6.2.8折线图109
6.2.9面积图109
6.2.10相关系数图110
6.2.11雷达图110
6.2.12箱线图110
6.3数据可视化设计111
6.3.1数据可视化设计原则111
6.3.2数据可视化=数据+设计+故事113
6.3.3数据可视化图形选择建议113
6.4数据可视化工具114
6.4.1基本工具114
6.4.2进阶工具114
6.5基于R语言可视化基础117
6.5.1基本绘图命令117
6.5.2ggplot2绘图121
习题6128
*实验报告6可视化实验129
第7章大数据应用131
7.1零售行业大数据131
7.1.1沃尔玛的购物篮分析131
7.1.2农夫山泉用海量照片提升销量132
7.2交通大数据134
7.2.1交通拥堵大数据分析134
7.2.2预测起飞时间142
7.3医疗大数据143
7.3.1移动医疗与个人健康143
7.3.2基因测序——精准治癌正在成为现实146
第8章大数据安全150
8.1大数据安全的重要意义150
8.2大数据面临的挑战151
8.3大数据的安全威胁152
8.3.1大数据基础设施安全威胁152
8.3.2大数据存储安全威胁152
8.3.3大数据的隐私泄露153
8.3.4大数据的其他安全威胁155
8.4大数据与网络攻击监测155
8.5大数据安全分析155
8.6大数据安全标准157
8.6.1基础标准类158
8.6.2平台和技术类158
8.6.3数据安全类159
8.6.4服务安全类159
8.6.5应用安全类160
附录大数据软件安装161
A.1基础环境准备161
A.2安装JDK162
A.3安装Hadoop162
A.4安装Zookeeper167
A.5安装HBase169
A.6安装Hive170
A.7安装Spark172
参考文献175
|
內容試閱:
|
“大数据”已经成为近年来备受关注的热词,越来越多的人逐渐认识到,大数据将是新一轮产业革命的新动力、新引擎。相关报告预计未来5年,大数据或者数据工作者的岗位需求将激增,其中大数据分析师的缺口在140万~190万。但大数据人才培养以及数据科学研究似乎远未做好准备。据教育部公布数据显示:继2016年北京大学、中南大学、对外经贸大学首批设立大数据相关学科后,2017年中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请“数据科学与大数据技术”本科新专业的高校。2018年新增“数据科学与大数据技术”专业的高校达248所。
《大数据技术导论》是“数据科学与大数据技术”专业必修的第一门专业基础课,目前市场上大多数《大数据技术导论》教材只是作为专业技术课程的综述,专业术语过多,学生学起来很困难。导论的宗旨是导知识、导方法、导思维、导意识和导职业,而不是导技术。
本书的目的是把大数据思维、原理传递给想实践大数据的读者手中,不是让读者掌握大数据深奥的数学理论和复杂的环境搭建细节。因此,本书重点是如何在已搭建好的大数据平台下,实施大数据应用方案,注意力完全集中在能有效工作的大数据技术应用上,这样可以用最少的时间、最快的速度消化和部署大数据应用项目。
本书具有以下特点:
1)让读者从实践中学习大数据思维、原理和方法。书中给出了大量的故事和实验指导案例,指导读者一步一步迈向大数据世界。
2)学习大数据不需要很深的数学作为前提。无论你是谁,无论你来自哪里,无论你的受教育背景如何,都有能力使用书中提供的方法,解决大数据应用问题。
3)每一章都提供了一定数量的习题,用于检查学习效果。
4)为了减轻读者对编程基础的依赖,本书采用R语言作为编程环境。
5)大数据生态环境Hadoop采用集群安装,实验更接近应用。
6)不仅理工科学生要掌握大数据技术,非理工科的学生也要掌握最基本的大数据技术,本书适合各类相关专业。
带*号的章节为选学内容。
大数据领域发展迅猛,对许多问题编者并未做深入研究,一些有价值的新内容也来不及收入本书。加上编者知识水平和实践经验有限,书中难免存在不足之处,敬请读者批评指正。
|
|