判断推测执行的风险,要先看一个任务会读什么、写什么,以及写入是否幂等。HBase 作为输入源,本身不等于作业一定会重复写入 HBase。
历史建议的适用条件
HBase 官方 MapReduce 资料也保留了关于推测执行和重复任务的警示。原短文把“作为源”与“重复写入”连在一起,缺少具体作业路径。本页补充区分,不能据此断言官方警示无效,也不将它推广为任意集群都应统一修改的参数。
| 作业路径 | 需要确认 |
|---|---|
| 从 HBase 读,写框架管理的输出 | 输入读取成本、输出提交与重复任务处理 |
| Map/Reduce 中直接写 HBase | 重复执行、重试与外部写入副作用 |
| 含 increment、通知等操作 | 同一任务重跑是否造成额外变化 |
任务重试同样可能发生;只关闭推测执行不能自动获得端到端恰好一次语义。把是否重试、输出提交与业务幂等性分开设计。
如何验证
在测试作业记录 attempt ID、输入范围和外部写入结果,分别制造重试与推测副本,检查结果是否重复或丢失。本轮没有运行 MapReduce/HBase 集群,没有变更参数或测量性能。
保留历史原文链接,涉及配置时应查看目标 Hadoop/HBase 版本而非猜测默认值。继续阅读 批量导入与普通写入的区别。