adoop-hdfs学习

概念

hdfs是一个分布式的，文件存储系统 ，重要特性如下：

1. 分块存储
2. 统一的抽象目录树
3. 不支持文件修改

shell操作

hadoop fs -ls /：列出文件

hadoop fs -ls hdfs://hadoop-server01:9000/：列出文件

hadoop fs -mkdir -p /aaa/bbb/cc/dd：创建目录

hadoop fs -moveFromLocal D:\public /aaa/bbb：本地文件移动到hdfs

hadoop fs -moveToLocal /aaa/bbb/ d:\fff：hdfs文件移动到本地

Hadoop fs -appendToFile ./hello.txt /hello.txt：文件追加

hadoop fs -cat /hello.txt：显示文件按内容

hadoop fs -tail /weblog/access_log.1：显示文件末尾

hadoop fs -text /weblog/access_log.1：以字符形式打印文件内容

hadoop fs -chmod 755 /aaa/bbb/public：修改文件权限，和linux一致

hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/：拷贝

hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2：在hdfs上拷贝

hadoop fs -mv /aaa/jdk.tar.gz /：在hdfs上移动

hadoop fs -get /aaa/jdk.tar.gz：下载

adoop fs -getmerge /aaa/log.* ./log.sum：合并下载

hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2：拷贝

hadoop fs -rm -r /aaa/bbb/：删除

hadoop fs -rmdir /aaa/bbb/ccc：删除空目录

hadoop fs -df -h /：统计可用信息

hadoop fs -count /aaa/：统计目录下文件节点数量

hadoop fs -setrep 3 /aaa/jdk.tar.gz：设置副本数量

hadoop dfsadmin -report：磁盘报告