Cloudera Manager - HDFS block count 임계값 오류
·
Platform/Hadoop
[ 원인 ] Hive로 실시간데이터를 받아오니 아래 그림과 같이 Data Block의 임계값 초과 경고문구가 뜬다. Default size가 128MB인 data block은 hdfs에서 유한한 저장공간 때문에 그 갯수를 제한하고 있다. [ 해결 ] 1. 블록 임계값 늘리기 CDM에서 HDFS->구성에 들어가 해당 "DataNode 블록 수 임계값"을 더 높게 설정한다. 2. 필요없는 데이터 삭제하기 데이터를 삭제하여 data block을 확보한다. 3. HDFS Rebalancing 수행 새로운 데이터노드를 추가하거나 삭제하기 때문에 데이터가 불균형하게 배포될 수 있다. 리밸런싱을 통한 데이터노드의 데이터 균일화로 불필요한 블록 수를 줄인다. a. HDFS 서비스로 간다. b. 상단의 Actions -..
Apache Phoenix - 설치 [ Install in cloudera manager ]
·
DataPipeline/Phoenix
[ 설치 ] parcel 설정페이지(우측상단의 선물함아이콘)로 들어가 아래 이미지와 같이 https://archive.cloudera.com/phoenix/6.2.0/parcels/ https://archive.cloudera.com/phoenix/6.2.0/csd/ 를 추가한다. "변경내용저장" 후 "새 Parcel확인(Check for New Parcels)"를 클릭 후 생기는 PHOENIX parcel을 다운로드 한다. 다운로드 이후에는 아래 이미지와 같이 배포된다. ls /opt/cloudera/csd 로 PHOENIX-VERSION.jar 파일이 있는지 확인한다. [ 수동설치 ] https://archive.cloudera.com/phoenix/6.2.0/csd/ PHOENIX-1.0.jar h..
wave35
'Cloudera Manager' 태그의 글 목록