hdfs dfs、fsck 与 balancer 是同一种命令吗?
不是。文件系统 shell 用于文件操作;fsck 检查 HDFS 文件与块信息;balancer 会迁移块以调整分布,属于维护操作,不能作为普通“看看状态”的命令执行。
在自己的测试目录上传
前提是客户端已配置目标 HDFS、认证与写权限,并准备本地 sample.txt:
hdfs dfs -mkdir -p /user/your-user/phase3-demo
hdfs dfs -copyFromLocal ./sample.txt /user/your-user/phase3-demo/sample.txt
hdfs dfs -ls /user/your-user/phase3-demo
hdfs dfs -cat /user/your-user/phase3-demo/sample.txt
替换用户名;不加覆盖参数,已存在文件时应先核对而非覆盖。按预期可列出和读取文件,本轮未执行这些命令。
检查完整性
hdfs fsck /user/your-user/phase3-demo -files -blocks -locations
预期报告该目录的文件和块情况。fsck 与本地 Linux fsck 不同;不要擅自附加会移动或删除文件的选项。遇到权限失败先确认身份和路径,不应直接提升权限绕过。
历史 start-balancer.sh 名称依发行版本与包装脚本而异;在 Hadoop 3.3.6 应先查官方 balancer 命令与运维窗口、阈值和带宽约束。此页不提供未经演练的全群均衡方案。
继续:可靠性检查。
整理范围与出处
本次依据下方版本资料整理说明与示例;历史导入资料的来源状态单独列示,不将技术参考认作原作者信息。原始发布日期与地址保留。