存储引擎选型 2021-02-01 21:26:29 技术 分布式存储引擎对比。 选型 对象存储(S3) + 文档型存储(MongoDB) 数据仓库(Hive) 数据湖解决方案 场景 对象存储S3定位于分布式海量数据 阅读更多
Flink反压机制 2020-11-19 22:46:32 技术 反压产生的场景 短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压,例如,垃圾回收停顿可能会导致流入的数据快速 阅读更多
Flink Watermark机制 2020-10-16 22:21:18 技术 WaterMark, latency, checkpoint 这三者实现方式都是上游节点逐步广播消息给下游节点来处理的行为(都是在流中插入一种特殊的数据结构来处理)。 时间语义 Flink有三种时间语 阅读更多
Flink Window机制 2020-09-16 22:49:04 技术 Flink认为Batch是Streaming的一个特例,而window就是从Streaming到Batch的一个桥梁,window提供了一种 阅读更多
Flink Checkpoint机制 2020-08-16 22:21:05 技术 基于分布式快照的Checkpoint机制是Flink的容错机制的一大亮点,Flink可以通过Checkpoint实现exactly-once 阅读更多