《Presto技术内幕》 - JD-Presto研发团队 - 电子工业出版社 - 香港大書城

	登入帳戶　 \|　訂單查詢　 \|　購物車/收銀台(0)　\|　在線留言板　 \|　付款方式　 \|　運費計算　 \|　聯絡我們　 \|　幫助中心　\|　加入書簽
		會員登入新用戶登記

HOME

新書上架

暢銷書架

好書推介

2023年度TOP

臺灣用戶

品種：超過100萬種各類書籍/音像和精品，正品正價，放心網購，悭钱省心

服務：香港／台灣／澳門／海外

送貨：速遞／郵局／服務站

新書上架：簡體書繁體書
暢銷書架：簡體書繁體書
好書推介：簡體書繁體書

『簡體書』Presto技术内幕

書城自編碼： 2861518
分類：簡體書→大陸圖書→計算機/網絡→數據庫
作者： JD-Presto研发团队
國際書號(ISBN)： 9787121285639
出版社：电子工业出版社
出版日期： 2016-07-01
版次： 1 印次： 1
頁數/字數： 312/
書度/開本： 128开釘裝：平塑勒单衬

售價：HK$ 103.5

我要買件

** 我創建的書架 **
未登入.

新書推薦：

《引爆：炸药、硝酸盐和现代世界的形成》
售價：HK$ 85.1

《人类星球：我们如何创造了人类世（企鹅·鹈鹕丛书013）》
售價：HK$ 91.8

《伏候圣裁：中国古代的君主与政治》
售價：HK$ 98.6

《艺术图像学研究（第一辑）》
售價：HK$ 188.2

《摆脱强迫的人生（修订版）》
售價：HK$ 88.5

《知宋·宋代之司法》
售價：HK$ 99.7

《空间与政治》
售價：HK$ 87.4

《少年读三国（全套12册）》
售價：HK$ 490.6

編輯推薦：

《Presto技术内幕》由浅入深地详细介绍了Presto
的安装过程、内部运行原理机制、功能特性、性能优化方法，以及在应用过程中常见的问题及解决方案等，同时详细介绍了JD-Presto 版本的许多新功能及其适用的业务场景，这些功能的成功研发，使得JD-Presto 版本不仅仅可用于离线大数据分析计算来提升性能，还可用于多种数据源混合进行实时大数据分析计算，使一些使用其他大数据技术不能解决的业务场景有了一个全新有效的解决方案。
适合读者：
Java 研发工程师；
在大数据技术领域从业的研发工程师、运维工程师、架构师；
对大数据研究方向感兴趣的大学老师和学生、以及大数据技术的入门学者；
从事海量数据分析应用的开发者、研究者。

內容簡介：

Presto是专门为大数据实时查询计算而设计和开发的产品。由于Presto是基于Java语言开发的，因此，对使用者和开发者而言， Presto极易学习、使用并针对特定的业务场景进行改造开发和性能优化。无论是对多数据源支持，还是高性能、易用性、可扩展性等方面， Presto都是大数据实时查询计算产品中的佼佼者。本书按照由浅入深的顺序对Presto进行了全方位的细致讲解，具体内容包括Presto概述、 Presto安装与部署、 Presto RESTful框架解析、提交查询、生成查询执行计划、查询调度、查询执行、队列、System Connector、 Hive Connector、 Kafka Connector、 Connector开发、 Functions开发、 JD-Presto功能改造、 Presto性能调优、 Presto应用场景。本书对Java研发工程师，在大数据技术领域从业的研发工程师、运维工程师、架构师，对大数据研究方向感兴趣的大学老师和学生、以及大数据技术的入门学者，从事海量数据分析应用的开发者、研究者都有很强的参考价值。

關於作者：

在数据洞察、数据分析、统计解析等领域具有丰富经验，现担任京东数据罗盘产品经理；京东易搜产品经理，曾担任香港上市企业数据分析师，国内最早一批的电商运营人员。乐于为商家提供数据分析、决策与指导建议。

第一部分基础篇
第 1 章概述2
1.1 Presto 背景及发展2
1.2 Presto 特点2
1.3 基本概念3
1.3.1 Presto 服务进程3
1.3.2 Presto 模型4
1.3.3 Presto 查询执行模型 5
1.4 Presto 整体架构9
1.4.1 硬件架构9
1.4.2 软件架构9
1.5 小结11
第 2 章 Presto 安装与部署12
2.1 环境说明 12
2.2 准备工作13
2.2.1 建立 SSH 信任关系13
2.2.2 安装 Java 17
2.2.3 安装 Maven 17
2.2.4 安装 Hive 18
2.3 源码编译21
2.3.1 下载源码 21
2.3.2 源码结构说明 22
2.3.3 编译 26
2.4 部署 30
2.4.1 服务部署 30
2.4.2 客户端部署 38
2.4.3 JDBC 使用 40
2.5 小结 42
第二部分核心设计篇
第 3 章 Presto RESTful 框架解析 44
3.1 Statement 服务接口 44
3.2 Query 服务接口 47
3.3 Stage 服务接口48
3.4 Task 服务接口49
3.5 小结 52
第 4 章提交查询 53
4.1 提交查询的步骤 53
4.2 源码解析 53
4.3 提交查询的流程 60
4.4 小结 61
第 5 章生成查询执行计划 62
5.1 基本概念 63
5.1.1 Node 63
5.1.2 Metadata API 67
5.2 词法与语法分析 68
5.2.1 语法规则 69
5.2.2 词法分析 69
5.2.3 语法分析 71
5.3 获取 QueryExecution 72
5.3.1 获取 QueryExecutionFactory 72
5.3.2 创建 QueryExecution 73
5.3.3 启动 QueryExecution 74
5.4 语义分析 77
5.4.1 Statement 分析 77
5.4.2 Relation 分析84
5.4.3 表达式分析 91
5.5 执行计划生成91
5.5.1 执行计划节点 91
5.5.2 SQL 执行计划93
5.5.3 Relation 执行计划95
5.5.4 Query 执行计划 99
5.6 执行计划优化102
5.6.1 ImplementSampleAsFilter 102
5.6.2 CanonicalizeExpressions 102
5.6.3 SimplifyExpressions 102
5.6.4 UnaliasSymbolReferences 103
5.6.5 PruneRedundantProjections 103
5.6.6 SetFlatteningOptimizer 103
5.6.7 LimitPushDown 104
5.6.8 PredicatePushDown 104
5.6.9 MergeProjections 104
5.6.10 ProjectionPushDown 104
5.6.11 IndexJoinOptimizer105
5.6.12 CountConstantOptimizer 105
5.6.13 WindowFilterPushDown 105
5.6.14 HashGenerationOptimizer 105
5.6.15 PruneUnreferencedOutputs 106
5.6.16 MetadataQueryOptimizer 106
5.6.17 SingleDistinctOptimizer 106
5.6.18 BeginTableWrite 106
5.6.19 AddExchanges 107
5.6.20 PickLayout 107
5.7 执行计划分段107
5.7.1 Source 107
5.7.2 Fixed 107
5.7.3 Single 107
5.7.4 Coordinator_only 107
5.8 示例108
5.8.1 Count 执行计划108
5.8.2 Join 执行计划108
5.9 小结110
第 6 章查询调度 111
6.1 生成调度执行器 111
6.2 查询调度过程 113
6.2.1 NodeManager 114
6.2.2 NodeSelector 115
6.3 小结 118
第 7 章查询执行 119
7.1 查询执行逻辑 120
7.2 Task 调度120
7.2.1 Source Task 调度120
7.2.2 Fixed Task 调度126
7.2.3 Single Task 调度 128
7.2.4 Coordinator_Only Task 调度 128
7.3 Task 执行129
7.3.1 创建 Task 129
7.3.2 更新 Task 135
7.3.3 运行 Task 140
7.4 小结 147
第 8 章队列 148
8.1 配置说明 148
8.1.1 queues 队列定义149
8.1.2 rules 规则定义 149
8.2 队列加载 150
8.3 队列匹配 151
8.4 小结 154
第 9 章 System Connector 155
9.1 System Connector 使用155
9.1.1 Information_schema 155
9.1.2 Metadata 157
9.1.3 Runtime 157
9.2 System Connector 实现159
9.2.1 Information_schema 实现160
9.2.2 System Connector 实现163
9.3 小结 168
第 10 章 Hive Connector169
10.1 与 Hive 的结合170
10.2 Split 分片管理 175
10.3 数据读取179
10.4 Create Table As Select 的实现 182
10.5 小结186
第 11 章 Kafka Connector 187
11.1 认识 Kafka Connector 187
11.1.1 配置187
11.1.2 配置属性187
11.1.3 内置字段189
11.1.4 表定义文件190
11.1.5 Kafka 中的 key 和 message 191
11.1.6 行解码192
11.1.7 日期和时间解码器194
11.1.8 文本解码器194
11.1.9 数值解码器194
11.2 Kafka 连接器使用教程194
11.2.1 安装 Apache Kafka195
11.2.2 下载数据195
11.2.3 在 Presto 中配置 Kafka topics 197
11.2.4 基本数据查询197
11.2.5 添加表定义文件199
11.2.6 将 message 中所有值映射到不同列200
11.2.7 使用实时数据202
11.3 Kafka Connector 获取数据 207
11.3.1 Split 分片管理207
11.3.2 数据读取209
11.4 小结210
第 12 章 Connector 开发211
12.1 创建 Maven 工程 211
12.2 注册 Plugin 213
12.3 Connector 213
12.4 Metadata 215
12.5 SplitManager 217
12.6 RecordSetProvider 218
12.7 小结 219
第 13 章 Functions 开发220
13.1 Function 注册 220
13.2 窗口函数 225
13.3 聚合函数 229
13.4 小结 232
第三部分高级篇
第 14 章 JD-Presto 功能改造234
14.1 PDBO 功能开发234
14.1.1 JDBC Split 剖析235
14.1.2 JdbcRecordCursor 剖析 238
14.1.3 分批次读取实现原理 240
14.1.4 动态步长实现原理 243
14.1.5 条件下发 245
14.1.6 PDBO 配置定义 247
14.2 DDL 及 DML 支持 250
14.2.1 Hive 连接器 Insert 功能 250
14.2.2 Hive 连接器 CTAS 动态分区表功能 252
14.3 动态增加、修改、删除 Catalog 254
14.3.1 目的 254
14.3.2 现状 254
14.3.3 实现 255
14.3.4 效果 258
14.4 小结 258
第 15 章 Presto 性能调优259
15.1 合理设计分区 259
15.2 Group By 字句优化 259
15.3 使用模糊聚合函数 259
15.4 合并多条 Like 子句为一条 regexp_like 子句260
15.5 大表放在 Join 子句左边260
15.6 关闭 distributed hash join 261
15.7 使用 ORC 存储 261
15.8 小结 262
第 16 章 Presto 应用场景 263
16.1 ETL 263
16.2 实时数据计算264
16.3 Ad-Hoc 查询266
16.4 实时数据流分析266
16.5 小结268
附录 A 常见问题及解决办法269
A.1 同时访问两个 Hadoop 集群269
A.2 Kafka 集群重启后无法获取数据272
A.3 Task exceeded max memory size 277
A.4 SQL 中 In 子句太长导致栈溢出错误278
A.5 高并发导致大量查询出错279
附录 B Presto 配置参数说明 282
附录 C Presto 执行信息说明289

內容試閱：

为什么要写这本书

相信很多软件开发人员在遇到应用系统涉及需要多种数据源、多种字符集下的混合计算时，都被数据的准确性和查询性能所困扰，一直以来都没有一个有效的技术方案能解决这个问题。 2014 年 7 月，京东 CTO 体系首席技术顾问翁志先生把 Presto 引入京东，数据准确性验证表明， Presto 在多种数据源、多种字符集下的混合计算均表现优异，数据准确性符合财务标准。我们认识到， Presto 是一个非常优秀的产品，尽管它有许多不足，我们决心把它打造为一个介于 T 1 计算和生产实时报表之间混合计算的大数据产品，支持秒级、分钟级获取查询结果、支持多并发的交互式 Ad-Hoc 查询与分析。 Presto 是一个较为完美的大数据实时计算解决方案，而市面上这类产品太少了，我们将经过生产环境验证的 JD-Presto 版本源给业内使用，主导 Presto 中国社区的推广工作。应广大 Presto 技术爱好者的要求，我们编写了这本书，以帮助更多的初学者、大数据领域的从业者学习及使用 JD-Presto。和其他许多调研过 Presto 的部门或公司一样，我们最初搭建的 Presto 测试集群在京东这种大数据量的环境下复杂计算任务几乎运行不起来， JOIN 查询也比较弱，集群时常宕机。同时，在测试过程中我们也发现，与 Spark、 Impala 相比， Presto 使用更为简单、易用、高效，这让我们深感振奋，一致认为这个产品值得团队花大力气去研究和优化。因此，我们专门申请了上百台高性能服务器来搭建性能测试集群环境，随后在几百 TB 级数据量下进行大规模的测试与验证，
完全证实了 Presto 的平均性能是 Hive 等离线数据分析产品性能的 10倍，并且支持 ANSI 标准 SQL、数据源完全解耦等一系列优势。在之后一年多的时间中，我们研发了众多实用功能，着力修复了许多 Bug，大幅提升了 Presto 的查询性能和并发执行性能，如重写了数据库驱动，使得 Presto 连接数据库进行海量数据查询的性能提升了几百倍；优化了内存使用效率，使查询性能对内存大小的依赖大幅降低；支持分布式数据库的分库分表设计；优化数据存储算法。通过上述一系列新功能的成功研发和对性能的大幅改进，使得 JD-Presto 的性能稳定是是 Hive 的 10 倍以上，是 Spark 的 3 倍以上，集群成本节省一半，在一个大规模的大数据集群中，这种技术优势可带来显著的经济效益。

本书读者对象

l Java 研发工程师；
l 在大数据技术领域从业的研发工程师、运维工程师、架构师；
l 对大数据研究方向感兴趣的大学老师和学生、以及大数据技术的入门学者；
l 从事海量数据分析应用的开发者、研究者。

如何阅读本书
本书按照由浅入深的顺序对大数据实时计算产品 Presto 进行了全方位的细致讲解，从基本的安装部署与使用到源码解析，以及根据实际业务需求进行新功能改造开发和性能优
化。
若你从来没有使用过 Presto，那么完全可以按照由浅入深的顺序从头开始阅读此书。
若你已经成功地使用了 Presto 一段时间，想要深入地了解 Presto 的设计思想并希望从源码级别了解 Presto 的实现思路，那么可以直接从核心设计篇进行阅读。
若你本来就是 Presto 的贡献者，苦于 Presto 不能满足你的实际业务问题，想要对
Presto进行功能改造但是还没有明确的思路；又或者你在使用 Presto 的过程中发现其性能没有达到你的预期，而又找不到优化的方案，那么高级篇会给你提供一些建议。
在本书最后的附录部分不仅对 Presto 使用过程中出现的各种问题给出了明确的解决方案，还对 Presto中的各个配置参数的含义和作用进行了详细的说明并给出了推荐配置值。
相信此书会为广大大数据爱好者提供一个新的视角，思考并解决大数据相关问题。

勘误和支持
由于作者水平和能力有限，编写时间仓促，本书存在不妥之处在所难免，我们真诚希望同行和广大读者朋友们不吝赐教。另外，如果你有关于 JD-Presto 的任何问题，可以加入我们的 QQ 群： 141254058，与我们在线交流，或者访问网站： http：prestodb-china.com，期待你的反馈意见，我们将不胜感激。

致谢
感谢现任京东 CTO 体系首席技术顾问、信息安全部、京东硅谷研发中心负责人翁志先生，在产品研发和推广使用的过程中给予了我们极大的支持和鼓励。同时在本书出版的过程中，从选题、审稿到出版无不得到他的热心帮助，在此致以深深的谢意！
感谢京东云平台数据研发运营部的负责人樊建刚先生给予我们充分的授权和支持，他鼓励我们将产品开源、组建技术交流群和中文社区，使得 JD-Presto 成为京东第一个开源的软件产品，开创京东回馈开源社区的先河。
感谢研发团队的兄弟们，他们酷爱技术、注重团队协作、深入理解客户需求，能从一个较为全面的角度考虑产品的架构设计与功能研发，这是产品成功的基石，也是最关键的因素。
回首这一路的艰辛，无以表达此时的心情，只能说，兄弟们所做的一切都让我心怀崇敬！
戴东东
2016

序言 1
12 年来，京东一直以开源技术作为构建自身核心技术体系的基础，在开源领域深耕多年，积极推动行业分享与交流。 JD-Presto 是京东首个贡献于开源社区的软件产品，开创了京东回馈开源社区的先河。
一年前， JD-Presto 研发团队是京东众多研发团队中的普通一员，时至今日，他们已成长为京东负有盛名的研发团队之一。一年来，他们忍受着孤独与寂寞，面对着无数困难与挫折，但他们从未放弃，凭着对技术的热爱、对信念的坚守、对优秀产品的执着追求，勇敢面对困难与挑战，历尽艰辛，终于迎来胜利的曙光。目前 JD-Presto 在京东内部已成功应用于精准营销、安全识别、商家后台、财务报表等十多个生产系统。京东为拥有 JD-Presto研发团队而骄傲！
与书店里的 Hadoop 书籍不同的是，本书是市面上第一本详细介绍 Presto 的书籍。它由浅入深地详细介绍了 Presto 的安装过程、内部运行原理机制、功能特性、性能优化方法，以及在应用过程中常见的问题及解决方案等，同时详细介绍了 JD-Presto 版本的许多新功能及其适用的业务场景。这些功能的成功研发，使得 JD-Presto 版本不仅可用于离线大数据分析计算来提升性能，还可用于多种数据源混合进行实时大数据分析计算，使一些使用其他大数据技术不能解决的业务场景有了一个全新有效的解决方案。同时，他们维护着 Presto在中国社区的建设，鼓舞着和培养了一群
Presto 的爱好者。
今天，国内已有越来越多的技术人员与公司在使用 JD-Presto 版本，相信本书能对读者学习和使用 JD-Presto 版本提供很大的帮助。本书不仅仅满足了初学者对技术书籍的渴求，也适合对 JD-Presto版本有一定使用经验的人员学习参考使用。希望它能成为你在 Presto 技术旅程中的一个朋友，点亮你前进的道路。

张晨
京东集团 CTO
序言 2
记得我刚加入京东的时候， Hadoop 的集群建设方兴未艾，大数据计算纷纷被转到Hadoop 中进行处理。然而，以前做数据挖掘的同学并不十分精通 Java 语言。他们更擅长于业务和 SQL 语言。为了让他们的工作更有效率、更得心应手，有必要找寻一个像 GoogleDremel 一样，以 SQL 为驱动的交互式 Ad－hoc 查询工具。于是我花了一些时间进行评估，包括 Hive、 Spark、 Impala 等，后来 Facebook 刚开源不久的 Presto 便映入眼帘。 Presto 设计简单精巧，可以处理海量数据，最大化地利用硬件性能，计算全部在内存中完成，很好地利用高速网络来进行数据调度，其编码风格一致，易于掌握和改进。虽然在当时 Presto的数据源和 SQL 的支持度还有待丰富，但已经初步展示了发展的潜力，很适合京东的应用。Presto 就这样在京东找到了家。 JD-Presto 研发团队成员具有多年 JAVA 编程和分布式并行处理经验，他们工作兢兢业业，在原先开源的基础上，丰富了多种数据源的处理接口，并且通过对任务调度的追踪和分析，改进并提升了并行处理任务的吞吐量。我们积极和 Facebook的 Presto 团队合作，成为 Presto 在国内的首批贡献者，建立并运行 Presto 的中国社区。我们也和 CSDN 的同仁建立了 Presto 的开发者论坛，在国内积极推广，普及 Presto 知识，让更多的开发人员受益。
京东是开源社区的受益者，也是开源开放文化的拥护者。我们将自己取得的点点滴滴毫无保留地回馈于开源社区，与大家共享，和大家一起进步。为了更好地服务于对 Presto有兴趣的研发人员，京东的同事们将平时工作中的积累和认识编辑成书，奉献给大家，希望他们的努力有助于读者学习和掌握 Presto。在此，我特别感谢为此书出版而辛勤工作的同事，他们是吕信、郭李明、袁安峰、孔云龙、戴东东等人。
翁志
京东集团首席技术顾问
序言 3
Presto is an open source, highly scalable, distributed SQL engine
we developed at Facebook. Since releasing it two years ago, we have witnessed a
tremendous amount of community interest and adoption. In the last twelve
months, the Presto community has grown from technology firms in Silicon Valley
to a broad variety of organizations worldwide. Today, NASDAQ, the second
largest stock exchange in the United States, runs Presto to power their analytical
use cases.
（ Presto 是我们在 Facebook 开发的开源、高度可扩展的分布式 SQL 引擎。 Presto 在两年前发布后，大量的社区开始关注和后续应用 Presto。在最近的 12 个月里， Presto 社区已经一家硅谷科技公司成长为全球性的生态圈，涵盖一批多样化的组织。如今，全美第二大证券交易所纳斯达克也在使用 Presto 来驱动他们的案例分析业务。）
As organizations adopt Presto, many are contributing back to it.
Teradata, a leader in data warehousing technology, maintains a group of
engineers who contribute to Presto. We have also collaborated with engineers at
JD.com since 2014 to make Presto better. Presto earned an "Open Source
Outstanding Project" award at the 2015 China Open Source World Summit.
（组织机构们不仅在应用 Presto，他们中的一部分也在回馈 Presto。 Teradata，数据仓库技术领域内的引领者之一，拥有一支专门为 Presto 贡献力量的工程师团队。从 2014 年起，我们与中国电商领域引领者京东公司的开发人员展开合作，精益求精地打造 Presto 产品。随后 Presto 在 2015 年第十届开源中国开源世界高峰论坛上获取 2015 COPU 开源优秀项目大奖。）
We hope you will learn more about Presto through this book developed by
engineersat JD.com, and we encourage you to work with the community to improve
Presto.
（我们真诚地希望你通过这本由京东工程师们撰写的书更深入地了解 Presto 引擎，也鼓励并期待你携手社区，改善
Presto 引擎。）
Jay
Tang
Manager
of Presto product， Big Data

1.3.3 Presto 查询执行模型
Presto 在执行 SQL 语句时，将这些 SQL 语句解析为相应的查询，并在分布式集群中执行这些查询。
1． Statement
Statement 语句。其实就是指我们输入的 SQL 语句。 Presto 支持符合 ANSI 标准的 SQL语句。这种语句由子句（ Clause）、表达式（ Expression）和断言（ Predicate）组成。Presto 为什么将语句（ Statement）和查询（ Query）的概念分开呢？因为在 Presto 中，语句和查询本身就是不同的概念。语句指的是终端用户输入的用文字表示的 SQL 语句；当 Presto 执行输入的 SQL 语句时，会根据 SQL 语句生成查询执行计划，进而生成可以执行的查询（ Query），而查询代表的是分布到所有的 Worker 之间执行的实际查询操作。
2．
Query
Query 即查询执行。当 Presto 接收一个 SQL 语句并执行时，会解析该 SQL 语句，将其转变成一个查询执行和相关的查询执行计划。一个查询执行代表可以在 Presto 集群中运行的查询，是由运行在各个 Worker 上且各自之间相互关联的阶段（ Stage）组成的。
那么 SQL 语句与查询执行之间有什么不同呢？
其实很简单，你可以认为 SQL 语句就是提交给 Presto 的用文字表示的 SQL 执行语句。而查询执行则是为了完成 SQL 语句所表述的查询而实例化的配置信息、组件、查询执行计划和优化信息等。一个查询执行由 Stage、 Task、 Driver、 Split、 Operator 和 DataSource 组成。这些组件之间通过内部联系共同组成了一个查询执行，从而得到 SQL 语句表述的查询，并得到相应的结果集。
3．
Stage
Stage 即查询执行阶段。当 Presto 运行 Query 时， Presto 会将一个 Query 拆分成具有层级关系的多个 Stage，一个 Stage 就代表查询执行计划的一部分。例如，当我们执行一个查询，从 Hive 的一张具有 1 亿条记录的表中查询数据并进行聚合操作时， Presto 会创建一个Root Stage（在后面的章节你会知道，该 Stage 就是 Single Stage），该 Stage 聚合其上游 Stage的输出数据，然后将结果输出给 Coordinator，并由 Coordinator 将结果输出给终端用户。Presto 技术内幕。
通常情况下， Stage 之间是树状的层级结构。每个 Query 都有一个 Root Stage。该 Stage用于聚集所有其他 Stage 的输出数据，并将最终的数据反馈给终端用户。需要注意的是，Stage并不会在集群中实际执行，它只是 Coordinator 用于对查询执行计划进行管理和建模的逻辑概念。每个 Stage（除了 Single Stage 和 Source Stage）都会有输入和输出，都会从上游 Stage读取数据，然后将产生结果输出给下游 Stage。需要注意的是： Source Stage 没有上游 Stage，它从 Connector 获取数据。 Single Stage 没有下游 Stage，它的结果直接输出给 Coordinator，并由 Coordinator 输出给终端用户。
Presto 中的 Stage 共分为 4 种，具体介绍如下。
Coordinator_Only：这种类型的 Stage 用于执行 DDL 或者 DML 语句中最终的表结构创建或者更改。
Single：这种类型的 Stage 用于聚合子 Stage 的输出数据，并将最终数据输出给终端用户。
Fixed：这种类型的 Stage 用于接受其子 Stage 产生的数据并在集群中对这些数据进行分布式的聚合或者分组计算。
Source：这种类型的 Stage 用于直接连接数据源，从数据源读取数据，在读取数据的时候，该阶段也会根据 Presto 对查询执行计划的优化完成相关的断言下发（ Predicate PushDown）和条件过滤等。
说明
由于一个 SQL 查询可以被分解为多个前后关联的 Stage，在这里我们约定：按照数据的流向，越靠近数据源的 Stage 越处于上游，越远离数据源的 Stage 越处于下游。
4．
Exchange
Exchange 的字面意思就是交换。 Presto 的 Stage 是通过 Exchange 来连接另一个 Stage的。Exchange 用于完成有上下游关系的 Stage 之间的数据交换。在 Presto 中有两种 Exchange：Output Buffer 和 Exchange Client。生产数据的 Stage 通过名为 Output Buffer 的 Exchange 将数据传送给其下游的 Stage（根据数据的流向，分为上下游，你可以将 Presto 中查询执行过程中的数据比喻成一条河流，那么产生数据的 Stage 相对于消费数据的 Stage 来说，就是上游）。消费数据的 Stage 通过名为 Exchange Client 的 Exchange 从上游 Stage 读取数据。如果当前的 Stage 是 Source 类型的 Stage，那么该 Stage 则是直接通过相应的 Connector从数据源读取数据的。而该 Stage 则是通过名为 Source Operator 的 Operator 与 Connector 进行交互的。例如，如果一个 Source Stage 直接从 HDFS 获取数据，那么这种操作不是通过Exchange Client 来完成的，而是通过运行于 Driver 中的 Source Operator 来完成的。
5．
Task
从前面的章节我们可以知道， Stage 并不会在 Presto 集群中实际运行，它仅代表针对于一个 SQL 语句查询执行计划中的一部分查询的执行过程，只是用来对查询执行计划进行管理和的各个 Worker 节点上的。
在 Presto 集群中，一个查询执行被分解成具有层级关系的一系列的 Stage，一个 Stage又被拆分为一系列的 Task。每个 Task 处理一个或者多个 Split。每个 Task 都有对应的输入和输出。一个 Stage 被分解为多个 Task，从而可以并行地执行一个 Stage。 Task 也采用了相同的机制：一个 Task 也可以被分解为一个或者多个 Driver，从而并行地执行一个 Task。同的机制：一个 Task 也可以被分解为一个或者多个 Driver，从而并行地执行一个 Task。
说明
由于一个 SQL 查询可以被分解为多个前后关联的 Stage，而每个 Stage 中均含有一个或者多个Task，在这里我们约定：按照数据的流向，越靠近数据源的 Task 越处于上游，越远离数据源的 Ta越处于下游。
6． Driver
一个 Task 包含一个或者多个 Driver。一个 Driver 其实就是作用于一个 Split 的一系列Operator 的集合。因此一个 Driver 用于处理一个 Split，并且生成相应的输出，这些输出由Task 收集并且传送给其下游 Stage 中的一个 Task。一个 Driver 拥有一个输入和一个输出。
7．
Operator
一个 Operator 代表对一个 Split 的一种操作，例如过滤、加权、转换等。一个 Operator依次读取一个 Split 中的数据，将 Operator 所代表的计算和操作作用于 Split 的数据上，并产生输出。每个 Operator 均会以 Page 为最小处理单位分别读取输入数据和产生输出数据。Operator 每次只会读取一个 Page 对象，相应地，每次也只会产生一个 Page 对象。
8．
Split
Split 即分片。一个分片其实就是一个大的数据集中的一个小的子集。而 Driver 则是作用于一个分片上的一系列操作的集合，而每个节点上运行的 Task，又包含多个 Driver，从而一个 Task 可以处理多个 Split。其中每一种操作均由一个 Operator 表示。分布式查询执行计划的源 Stage（ Source Stage）通过 Connector 从数据源获得多个分片。Source Stage 对 Split处理完毕之后，会将输出传递给其下游
Stage （通常其下游 Stage 的类型为 Fixed 或者 Single）。
当 Presto 执行一个查询的时候，首先会从 Coordinator 得到一个表对应的所有 Split。然后 Presto 就会根据查询执行计划，选择合适的节点运行相应的 Task 处理 Split。

書城介紹　 \|　合作申請　\|　索要書目　 \|　新手入門　\|　聯絡方式　 \|　幫助中心　\|　找書說明　 \|　送貨方式　\|　付款方式	香港用户　 \|　台灣用户　\|　海外用户

	megBook.com.hk
Copyright © 2013 - 2024 （香港）大書城有限公司　 All Rights Reserved.