Flink 原理与实现:如何处理反压问题

  • 时间:
  • 浏览:0
  • 来源:神彩排列三_彩神排列三官方

Storm 是通过监控 Bolt 中的接收队列负载情况报告,不可能 超缺陷水位值就会将反压信息写到 Zookeeper ,Zookeeper 上的 watch 会通知该拓扑的所有 Worker 都进入反压情况报告,最后 Spout 停止发送 tuple。具体实现都要看你这个 JIRA STORM-88

流处理系统都并能优雅存在理反压(backpressure)问題。反压通常产生于可是的场景:短时负载高峰导致 系统接收数据的效率远高于它处理数据的效率。一点日常问題前会 导致 反压,例如,垃圾回收停顿不可能 会导致 流入的数据快速堆积,不可能 遇到大促或秒杀活动导致 流量陡增。反压不可能 并能了得到正确的处理,不可能 会导致 资源耗尽甚至系统崩溃。

目前主流的流处理系统 Storm/JStorm/Spark Streaming/Flink 前会 可能 提供了反压机制,不过真是现各不相同。