存储引擎选型

分布式存储引擎对比。 选型 对象存储(S3) + 文档型存储(MongoDB) 数据仓库(Hive) 数据湖解决方案 场景 对象存储S3定位于分布式海量数据

Flink反压机制

反压产生的场景 短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压,例如,垃圾回收停顿可能会导致流入的数据快速

Flink Watermark机制

WaterMark, latency, checkpoint 这三者实现方式都是上游节点逐步广播消息给下游节点来处理的行为(都是在流中插入一种特殊的数据结构来处理)。 时间语义 Flink有三种时间语