54、HBase:推测执行、任务重试与写入副作用

区分 MapReduce 的推测任务、HBase 读写角色与外部副作用,说明应按作业幂等性评估,而非统一修改集群配置。

简明结论

判断推测执行的风险,要先看一个任务会读什么、写什么,以及写入是否幂等。HBase 作为输入源,本身不等于作业一定会重复写入 HBase。

判断推测执行的风险,要先看一个任务会读什么、写什么,以及写入是否幂等。HBase 作为输入源,本身不等于作业一定会重复写入 HBase。

历史建议的适用条件

HBase 官方 MapReduce 资料也保留了关于推测执行和重复任务的警示。原短文把“作为源”与“重复写入”连在一起,缺少具体作业路径。本页补充区分,不能据此断言官方警示无效,也不将它推广为任意集群都应统一修改的参数。

作业路径需要确认
从 HBase 读,写框架管理的输出输入读取成本、输出提交与重复任务处理
Map/Reduce 中直接写 HBase重复执行、重试与外部写入副作用
含 increment、通知等操作同一任务重跑是否造成额外变化

任务重试同样可能发生;只关闭推测执行不能自动获得端到端恰好一次语义。把是否重试、输出提交与业务幂等性分开设计。

如何验证

在测试作业记录 attempt ID、输入范围和外部写入结果,分别制造重试与推测副本,检查结果是否重复或丢失。本轮没有运行 MapReduce/HBase 集群,没有变更参数或测量性能。

保留历史原文链接,涉及配置时应查看目标 Hadoop/HBase 版本而非猜测默认值。继续阅读 批量导入与普通写入的区别。