心理

当前位置 /首页/完美生活/心理/列表

flink数据延迟怎么处理

flink数据延迟怎么处理

Event Time语义下我们使用Watermark来判断数据是否迟到。一个迟到元素是指元素到达窗口算子时,该元素本该被分配到某个窗口,但由于延迟,窗口已经触发计算。目前Flink有三种处理迟到数据的方式:

(1)直接将迟到数据丢弃:会造成数据丢失

(2)将迟到数据发送到另一个流:输出到侧输出流,保证数据的完整性,可更新计算结果

(3)重新执行一次计算,将迟到数据考虑进来,更新计算结果:数据准确率高,保证数据完整性

TAG标签:flink 延迟 #