直接把文件复制进 HBase 目录就完成导入了吗?
不是。批量加载通常先按目标表结构与区域边界生成有序 HFiles,再通过受支持的 bulk load 流程让运行中的集群接纳文件。不能绕过管理流程随意改 RegionServer 存储目录。
两个阶段分别检查
准备阶段核对 rowkey、列族、排序、版本与目标 region 范围;加载阶段核对表是否存在、文件权限、边界变化、重试与最终可见数据。生产流程还要考虑与并发写入、复制和下游消费的关系,不能把它视作普通 Put 的完全等价替代。
HBase 2.5.0 的 BulkLoadHFiles API 提供程序化加载入口;下面仅为需要已有 Configuration 和文件目录的 API 阅读片段:
BulkLoadHFiles loader = BulkLoadHFiles.create(conf);
loader.bulkLoad(TableName.valueOf("demo"), preparedHFileDirectory);
这不是完整作业,也没有展示 HFile 生成代码。本轮未运行 HBase 或生成 HFiles,预期验证应比较导入前后的行数、抽样值、列族与错误重试结果。
性能如何报告
同样数据与环境下记录准备耗时、加载耗时、资源消耗、失败重试与最终结果,再与普通写入比较。原文“快一个数量级”没有基准条件,已移除,不提供替代的模拟数字。
相关:写入规则与约束边界。
整理范围与出处
本次依据下方版本资料整理说明与示例;历史导入资料的来源状态单独列示,不将技术参考认作原作者信息。原始发布日期与地址保留。