|
|
| FCS | 文章精要：北京航空航天大学杨海龙团队——面向流处理的快速、准确弹性伸缩机制研究 |
|
论文标题：QAAS: quick accurate auto-scaling for streaming processing
期刊：Frontiers of Computer Science
作者：Shiyuan LIU, Yunchun LI, Hailong YANG, Ming DUN, Chen CHEN, Huaitao ZHANG, Wei LI
发表时间：15 Feb 2024
DOI：10.1007/s11704-022-1706-4
微信链接：点击此处阅读微信文章
导读
近年来，对数据进行实时处理的需求不断增长，涌现出各种各样的流处理系统。当输入流处理系统的数据负载波动时，流处理任务所需的计算资源也会随之改变。为避免计算资源浪费，流处理任务所用资源需要根据负载变动进行调整。目前，现有对流处理任务进行资源调整的工作中主要基于算子的并行度与算子的资源开销之间有线性相关的关系，这种方法当算子并行度增加时会出现较大的偏差。本文提出了非线性模型来表示算子性能。本文将算子性能的变化分为三个阶段：无竞争阶段、不完全竞争阶段、完全竞争阶段。在给定算子并行度时，使用本文提出的模型可以准确预测CPU利用率与算子并行度。经过实验评估，本文模型的预测误差低于5%。同时，本文使用算子的性能模型提出了快速、准确的弹性伸缩方法，并在Flink任务上实现了自动伸缩。与先前的工作相比，QAAS能够在负载变化时维持任务性能稳定、减少任务调整次数，并使得数据积压减少了50%。
文章精要
相关内容推荐：
文章精要 | BTC-阴影: 一个用于揭示比特币交易图中非法行为的可视化分析系统 2023 17(6)：176215
文章精要 | 迭代式安卓自动化测试 2023 17(5)：175212
文章精要 | 华中科技大学刘海坤教授团队：UCat：面向Unikernel的异构内存管理机制 2023 17(1)：171204
Pusher: 基于输入-分支操作数关联增强的模糊测试系统 2022 16(4)：164206
基于模型和长测试序列的JavaScript Web应用自动测试 2022 16(3)：163204
ForkXplorer: 一种概括fork内容的方法 2022 16(2)：162202
针对GR(1)获胜条件的概率综合 2022 16(2)：162203
Frontiers of Computer Science
Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；入选“中国科技期刊卓越行动计划项目”。
《前沿》系列英文学术期刊
由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、 、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中12种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。
中国学术前沿期刊网
http://journal.hep.com.cn
特别声明：本文转载仅仅是出于传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负版权等法律责任；作者如果不希望被转载或者联系转载稿费等事宜，请与我们接洽。
