大数据学习笔记5——hdfs 文件系统shell命令(3)

前期回顾：

大数据学习笔记1——hdfs架构原理

大数据学习笔记2——hdfs安装及相关配置文件的设置

大数据学习笔记3——hdfs 文件系统shell命令（1）

大数据学习笔记4——hdfs 文件系统shell命令（2）

今天继续详述fs shell命令

rm

Usage: hadoop fs -rm [-f] [-r |-R] [-skipTrash] [-safely] URI [URI ...]

删除指定为参数的文件。
如果启用了trash，则文件系统将删除的文件移动到trash目录(由文件系统#getTrashRoot提供)。
垃圾特性在默认情况下是禁用的。用户可以通过为参数fs.trash.interval(在core-site.xml中)设置大于0的值来启用trash。

Options:

• -f 如果文件不存在，则-f选项将不显示诊断消息或修改退出状态以反映错误。
• -r 选项递归地删除目录及其下的任何内容。-R选项等价于-r。
• -skipTrash 绕过垃圾，并立即删除指定的文件。当需要从超额目录中删除文件时，这可能很有用。
• -safe选项 在删除总文件数大于hadoop.shell.delete.limit.num.files(在core-site中)的目录之前，-safe选项需要进行安全确认。xml,默认值:100)。它可以与-skipTrash一起使用，以防止意外删除大型目录。当递归遍历大目录以计算在确认之前要删除的文件数量时，预计会出现延迟。

Example:

• hadoop fs -rm hdfs://nn.example.com/file /user/hadoop/emptydir

rmdir

Usage: hadoop fs -rmdir [--ignore-fail-on-non-empty] URI [URI ...]

删除文件夹。如果目录包含子文件夹或文件，则不能被删除，除非使用--ignore-fail-on-non-empty

Options:

• --ignore-fail-on-non-empty: 如果目录包含子文件夹或文件，也可以成功删除.

Example:

• hadoop fs -rmdir /user/hadoop/emptydir

rmr

Usage: hadoop fs -rmr [-skipTrash] URI [URI ...]

递归删除，同 hadoop fs -rm -r

setfacl

Usage: hadoop fs -setfacl [-R] [-b |-k -m |-x <acl_spec> <path>] |[--set <acl_spec> <path>]

设置文件和目录的访问控制列表。

Options:

• -b:删除除基本ACL项之外的所有项。为了与权限位兼容，保留了用户、组和其他条目。
• -k:删除默认ACL。
• -R:递归地对所有文件和目录应用操作。
• -m:修改ACL。将新条目添加到ACL中，并保留现有条目。
• -x:删除指定的ACL条目。保留其他ACL条目。
• --set:完全替换ACL，丢弃所有现有条目。acl_spec必须包含用户、组和其他条目，以便与权限位兼容。如果ACL规范只包含访问条目，则保留现有的默认条目。如果ACL规范只包含默认条目，则保留现有的访问条目。如果ACL规范包含访问和默认条目，则两者都将被替换。
• acl_spec:用逗号分隔的ACL条目列表。
• path:要修改的文件或目录

Examples:

• hadoop fs -setfacl -m user:hadoop:rw- /file
• hadoop fs -setfacl -x user:hadoop /file
• hadoop fs -setfacl -b /file
• hadoop fs -setfacl -k /dir
• hadoop fs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
• hadoop fs -setfacl -R -m user:hadoop:r-x /dir
• hadoop fs -setfacl -m default:user:hadoop:r-x /dir

setfattr

Usage: hadoop fs -setfattr -n name [-v value] | -x name <path>

设置文件或目录的扩展属性名和值。

Options:

• -n name:扩展属性名。
• -v值:扩展属性值。值有三种不同的编码方法。如果参数用双引号括起来，那么值就是引号内的字符串。如果参数以0x或0x为前缀，则将其视为十六进制数。如果参数以0或0开头，则将其视为base64编码。
• -x name:删除扩展属性。

Examples:

• hadoop fs -setfattr -n user.myAttr -v myValue /file
• hadoop fs -setfattr -n user.noValue /file
• hadoop fs -setfattr -x user.myAttr /file

setrep

Usage: hadoop fs -setrep [-R] [-w] <numReplicas> <path>

更改文件的复制因子。如果path是一个目录，则该命令递归地更改以path为根的目录树下的所有文件的复制因子。执行此命令时将忽略EC文件。

Options:

• -w标志请求命令等待复制完成。这可能需要很长时间。
• -R标志可用于向后兼容。没有效果。

Example:

• hadoop fs -setrep -w 3 /user/hadoop/dir1

stat

Usage: hadoop fs -stat [format] <path> ...

以指定的格式打印关于<path>的文件/目录的统计信息。Format接受8进制(%a)和符号(%a)的权限，文件大小(%b)，类型(%F)，所有者的组名(%g)，名称(%n)，块大小(%o)，复制(%r)，所有者的用户名(%u)，访问日期(%x， %x)，修改日期(%y， %y)。%x和%y表示UTC日期yyyy-MM-dd HH:mm:ss。如果没有指定格式，则默认使用%y。

Example:

• hadoop fs -stat "type:%F perm:%a %u:%g size:%b mtime:%y atime:%x name:%n" /file

tail

Usage: hadoop fs -tail [-f] URI

将文件的最后千字节显示到标准输出。

Options:

• -f选项，与Unix中一样，实时显示文件追加的内容

Example:

• hadoop fs -tail -f pathname

test

Usage: hadoop fs -test -[defswrz] URI

Options:

• -d: 如果路径是一个目录，返回0.
• -e: 如果路径存在，返回0
• -f: 如果路径是文件，返回0.
• -s: 如果路径不是空的，返回0.
• -w: 如果路径存在，并且授予了写权限，那么返回0
• -r: 如果路径存在且已授予读权限，则返回0
• -z: 如果文件长度为0，返回0

Example:

• hadoop fs -test -e filename

text

Usage: hadoop fs -text <src>

获取源文件并以文本格式输出该文件。允许的格式是zip和TextRecordInputStream。.

touch

Usage: hadoop fs -touch [-a] [-m] [-t TIMESTAMP] [-c] URI [URI ...]

将URI指定的文件的访问和修改时间更新为当前时间。如果该文件不存在，则在URI上创建一个长度为零的文件，并将当前时间作为该URI的时间戳。

• -a选项只更改访问时间
• -m选项只更改修改时间
• -t选项指定时间戳(格式为yyyyMMddHHmmss)
• -c选项不创建文件

Example:

• hadoop fs -touch pathname
• hadoop fs -touch -m -t 20180809230000 pathname
• hadoop fs -touch -t 20180809230000 pathname
• hadoop fs -touch -a pathname

touchz

Usage: hadoop fs -touchz URI [URI ...]

创建一个长度为零的文件。如果文件的长度不为零，则返回一个错误

Example:

• hadoop fs -touchz pathname

truncate

Usage: hadoop fs -truncate [-w] <length> <paths>

将与指定文件模式匹配的所有文件截取为指定长度。

Options:

• -w标志请求命令等待块恢复完成。在恢复过程中，如果没有-w标记，文件可能会在一段时间内保持未关闭状态。在此期间，无法为追加而重新打开文件。

Example:

• hadoop fs -truncate 55 /user/hadoop/file1 /user/hadoop/file2
• hadoop fs -truncate -w 127 hdfs://nn1.example.com/user/hadoop/file1

usage

Usage: hadoop fs -usage command

返回单个命令的帮助。

——the fs shell cmds end——

下篇：大数据学习笔记6——hadoop生态圈之初识flume