hdfs dfs -du -h /logs/log 처럼
du 옵션을 사용하면 해당 위치의 파일, 디렉터리 크기를 나타낸다.
근데 앞에 숫자는 뭐고 뒤의 숫자는 뭐임?
앞의 숫자는 해당 파일, 디렉터리의 실제 크기를 나타내고,
뒤의 숫자는 해당 파일, 디렉터리가 차지하고 있는 저장 공간의 크기를 나타낸다.
HDFS 는 파일을 복제하여 저장하기 때문에 (replica) 대개 3배의 저장공간이 사용된다.
하지만 erasure coding 을 사용한다면 그보다 더 적은 저장 공간을 사용하게 될 것임.
community.cloudera.com/t5/Support-Questions/Explain-hdfs-du-command-output/m-p/46625#M8174
Re: Explain | hdfs du command output
Howdy, Thanks for your question. It can be quite jarring to see two columns in your output when du normally only has one column, but fear not, there is an explanation for everything. :) I found a similar post discussing this topic. From looking at it
community.cloudera.com
'Hadoop' 카테고리의 다른 글
| [YARN] NodeManager 재실행하면, 실행중이던 job들은 죽을까? (0) | 2021.07.20 |
|---|---|
| [Hadoop] pseudo-distributed mode 설치 방법 (0) | 2021.03.25 |
| [Parquet] csv, tsv 데이터를 Parquet 으로 변환하는 방법 링크 (0) | 2020.08.26 |
| [Hadoop] InputSplit 이 Block Boundary 를 넘어 데이터를 읽는 방법 (2) | 2020.08.17 |
| [Hadoop] Balancer vs Diskbalancer 차이를 이제 알겠다 (2) | 2020.08.17 |