[ 에러메세지 ] Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException: Column family table does not exist in region hbase:meta,,1.1588230740 in table 'hbase:meta', {TABLE_ATTRIBUTES => {IS_META => 'true', REGION_REPLICATION => '1', coprocessor$1 => '|or..

EMR Phoenix사용중에 같은 테이블명의 QA환경, 개발환경을 구분하여 구현해야 할 때가 있다. Phoenix 스키마를 사용하여 QA.TEST_TABLE DEV.TEST_TABLE 과 같이 구분시킨다. [ 1 ] 위와 같이 사용하기 위해선 네임스페이스 관련 hbase-site.xml설정을 해야하는데 Hbase의 Master, Region서버 모두 설정값을 수정한다. sudo vi /usr/lib/hbase/conf/hbase-site.xml [ 네임스페이스 관련 ] phoenix.schema.isNamespaceMappingEnabled true phoenix.schema.mapSystemTablesToNamespace true [ 성능관련 ] phoenix.functions.allowUserDefi..

package com; import java.sql.*; import java.util.HashMap; public class App { private static Connection connect; private static Statement statement; private static PreparedStatement preparedStatement; private static ResultSet resultSet; private static String serverURL; static { connect = null; statement = null; preparedStatement = null; resultSet = null; serverURL = "jdbc:phoenix:12.234.56.78:218..

기존 HBase 테이블에 Phoenix 테이블을 매핑하는 법은 기존에 있는 HBase 테이블과 똑같은 이름의 Phoenix테이블 또는 뷰를 생성한다. 또한 두 테이블 컬럼의 자료형이 일치해야하는데, 특히 숫자의 경우 Hbase와 Phoenix의 표현방식이 다르므로 표현되기 어렵다. "Phoenix will flip the first bit so that negative values will sort before positive values. Because HBase sorts row keys in lexicographical order and negative value’s first bit is 1 while positive 0 so that negative value is ‘greater than’ p..

[ CDH Phoenix 초기설정 ] 1. HBase 서비스 탭 2. hbase-site.xml에 대한 HBase 서비스 고급 구성 스니펫(안전 밸브) 검색 [1] Secondary Index 피닉스의 Secondary Index를 사용하기 위해 설정값 추가 이름 : hbase.regionserver.wal.codec 값 : org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec 피닉스 인덱싱에 관한 참조 : https://phoenix.apache.org/secondary_indexing.html [2] 사용자정의 함수 사용 사용자 정의함수를 사용하도록 다음 속성을 설정 이름 : phoenix.functions.allowUserDefinedFunct..

[ 사전셋팅 (Prerequisites) ] phoenix-version-hive.jar 파일을 찾고, 해당 하이브 설정파일에 value를 추가하여 하이브 맵리듀스 잡이 jar파일 사용하게 한다. 1) hive-env.sh : HIVE_AUX_JARS_PATH= 2) hive-site.xml hive.aux.jars.path file:// [ 테이블 생성 ] jar파일에 있는 storage Handler는 internal과 external 하이브테이블 생성을 지원한다. 1) Create Internal Table Hive에서 테이블생성시 Phoenix에도 자동으로 테이블 생성되며, Hive나 Hue에서 데이터 조회와 같은 쿼리가 가능하다. Internal Phoenix테이블은 Hive테이블 lifecyc..