06、Hadoop:文件命令、fsck 与均衡工具

修复转义乱码,给出有参数的 HDFS 命令,并区分检查与会改变集群状态的维护操作。

简明结论

不是。文件系统 shell 用于文件操作;fsck 检查 HDFS 文件与块信息;balancer 会迁移块以调整分布,属于维护操作,不能作为普通“看看状态”的命令执行。

hdfs dfs、fsck 与 balancer 是同一种命令吗?

不是。文件系统 shell 用于文件操作;fsck 检查 HDFS 文件与块信息;balancer 会迁移块以调整分布,属于维护操作,不能作为普通“看看状态”的命令执行。

在自己的测试目录上传

前提是客户端已配置目标 HDFS、认证与写权限,并准备本地 sample.txt:

hdfs dfs -mkdir -p /user/your-user/phase3-demo
hdfs dfs -copyFromLocal ./sample.txt /user/your-user/phase3-demo/sample.txt
hdfs dfs -ls /user/your-user/phase3-demo
hdfs dfs -cat /user/your-user/phase3-demo/sample.txt

替换用户名;不加覆盖参数,已存在文件时应先核对而非覆盖。按预期可列出和读取文件,本轮未执行这些命令。

检查完整性

hdfs fsck /user/your-user/phase3-demo -files -blocks -locations

预期报告该目录的文件和块情况。fsck 与本地 Linux fsck 不同;不要擅自附加会移动或删除文件的选项。遇到权限失败先确认身份和路径,不应直接提升权限绕过。

历史 start-balancer.sh 名称依发行版本与包装脚本而异;在 Hadoop 3.3.6 应先查官方 balancer 命令与运维窗口、阈值和带宽约束。此页不提供未经演练的全群均衡方案。

继续:可靠性检查。

整理范围与出处

本次依据下方版本资料整理说明与示例;历史导入资料的来源状态单独列示,不将技术参考认作原作者信息。原始发布日期与地址保留。