HADOOP - FileSystem Shell 명령어
·
Platform/Hadoop
FS Shell은 HDFS와 직접 상용작용할 뿐만 아니라 WebHDFS, AmazonS3 Azure WASB 등 하둡에서 지원하는 다른 파일시스템도 포함되어있다. FS Shell은 " bin/hadoop fs " 에 의해 호출된다. HDFS가 이미 사용되고 있다면 hdfs dfs는 동의어이다.(=hadoop fs) 'hadoop fs'와 'hdfs dfs' 명령어차이는 전자는 다른 응용프로그램(WebHDFS, AmazonS3 Azure 등) 에서도 사용하는 포괄적인 명령어고 후자는 HDFS에서만 사용할 수 있는 명령어이다. cat hadoop fs -cat /user/hive/text1.txt : 해당 파일내용을 stdout(콘솔) 출력한다. chgrp hadoop fs -chgrp [-R] 변경할그룹 ..
HADOOP - vCPU(AWS EC2)와 vCORE(Yarn)의 관계
·
Platform/Hadoop
EC2 vCPUAWS에서 나와있는 EC2인스턴스별 유형을 살펴보면 이해가 쉽다.일반 컴퓨팅의 CPU와 같다고 보면 된다.https://aws.amazon.com/ko/ec2/instance-types/  YARN vCOREYARN이 병렬처리(Thread)를 하기 위해 실제 코어(CPU)를 추상화한 가상코어이다.Windows OS가 CPU를 하나로 메모리에 응용프로그램을 실행시키는 것과 같이,YARN은 컨테이너를 통한 메모리할당을 할 때 vCORE를 사용한다. http://yourHDFSurl:8088에서 설정된 vCORE를 확인하거나yarn-site.xml에서 yarn.nodemanager.resource.cpu-vcores 프로퍼티에서 변경할 수 있다.( Default는 8이다 )   vCPU와 vCO..
wave35
'hadoop' 태그의 글 목록