adoop-hdfs学习

概念

hdfs是一个分布式的文件存储系统 ,重要特性如下:

  1. 分块存储
  2. 统一的抽象目录树
  3. 不支持文件修改

shell操作

hadoop fs -ls /:列出文件

hadoop fs -ls hdfs://hadoop-server01:9000/:列出文件

hadoop fs -mkdir -p /aaa/bbb/cc/dd:创建目录

hadoop fs -moveFromLocal D:\public /aaa/bbb:本地文件移动到hdfs

hadoop fs -moveToLocal /aaa/bbb/ d:\fff:hdfs文件移动到本地

Hadoop fs -appendToFile ./hello.txt /hello.txt:文件追加

hadoop fs -cat /hello.txt:显示文件按内容

hadoop fs -tail /weblog/access_log.1:显示文件末尾

hadoop fs -text /weblog/access_log.1:以字符形式打印文件内容

hadoop fs -chmod 755 /aaa/bbb/public:修改文件权限,和linux一致

hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/:拷贝

hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2:在hdfs上拷贝

hadoop fs -mv /aaa/jdk.tar.gz /:在hdfs上移动

hadoop fs -get /aaa/jdk.tar.gz:下载

adoop fs -getmerge /aaa/log.* ./log.sum:合并下载

hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2:拷贝

hadoop fs -rm -r /aaa/bbb/:删除

hadoop fs -rmdir /aaa/bbb/ccc:删除空目录

hadoop fs -df -h /:统计可用信息

hadoop fs -count /aaa/:统计目录下文件节点数量

hadoop fs -setrep 3 /aaa/jdk.tar.gz:设置副本数量

hadoop dfsadmin -report:磁盘报告