adoop-hdfs学习
概念
hdfs是一个分布式的,文件存储系统 ,重要特性如下:
- 分块存储
- 统一的抽象目录树
- 不支持文件修改
shell操作
hadoop fs -ls /
:列出文件
hadoop fs -ls hdfs://hadoop-server01:9000/
:列出文件
hadoop fs -mkdir -p /aaa/bbb/cc/dd
:创建目录
hadoop fs -moveFromLocal D:\public /aaa/bbb
:本地文件移动到hdfs
hadoop fs -moveToLocal /aaa/bbb/ d:\fff
:hdfs文件移动到本地
Hadoop fs -appendToFile ./hello.txt /hello.txt
:文件追加
hadoop fs -cat /hello.txt
:显示文件按内容
hadoop fs -tail /weblog/access_log.1
:显示文件末尾
hadoop fs -text /weblog/access_log.1
:以字符形式打印文件内容
hadoop fs -chmod 755 /aaa/bbb/public
:修改文件权限,和linux一致
hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/
:拷贝
hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
:在hdfs上拷贝
hadoop fs -mv /aaa/jdk.tar.gz /
:在hdfs上移动
hadoop fs -get /aaa/jdk.tar.gz
:下载
adoop fs -getmerge /aaa/log.* ./log.sum
:合并下载
hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
:拷贝
hadoop fs -rm -r /aaa/bbb/
:删除
hadoop fs -rmdir /aaa/bbb/ccc
:删除空目录
hadoop fs -df -h /
:统计可用信息
hadoop fs -count /aaa/
:统计目录下文件节点数量
hadoop fs -setrep 3 /aaa/jdk.tar.gz
:设置副本数量
hadoop dfsadmin -report
:磁盘报告