Apache Sqoop - import

 

[ Sqoop-Import ]

 

1. 일반인수 (Common arguments)

• --connect <jdbc-uri> : JDBC 접속URI 지정
• --connect-manager <class-name> : 사용할 연결 관리자
• --driver <class-name> : JDBC driver class 지정
• --hadoop-mapred-home <dir> : Override $HADOOP_MAPRED_HOME
• --help : 도움말
• --password-file : 인증관련 파일 경로
• -P : 콘솔에서 비밀번호를 읽을 때
• --password <password> : 인증패스워드 SET
• --username <username> : 유저이름 SET
• --verbose : working시 더 많은 정보 출력
• --relaxed-isolation : 매퍼에 대해 커밋되지 않은 읽기 데이터를 가져온다. HDFS에 저장되기전 데이터를 컨트롤하기 위한 인수

 

 

2. 데이터베이스 서버 접속

접속예시

$ sqoop import --connect jdbc:mysql://database.example.com/employees \
    --username aaron --password 12345

 

비밀번호가 저장된 파일을 이용하여 접속

$ sqoop import --connect jdbc:mysql://database.example.com/employees \
    --username venkatesh --password-file ${user.home}/.password

 

또는 -P 인수를 통해 비밀번호를 콘솔에서 입력할 수 있다.

$ sqoop import --connect jdbc:mysql://database.example.com/employees \
    --username aaron -P

password: *****

 

Sqoop은 몇몇 데이터베이스(Mysql)들은 기본적으로 지원한다.

지원하는 데이터베이스들의 JDBC가 설치되어 있기 때문이다. 

그러나 다른 데이터베이스를 사용하기위해 JDBC를 설치해야 하는 경우

해당 .jar파일을 $SQOOP_HOME/lib 경로에 추가시켜야한다. (데비안-/usr/lib/sqoop/lib) 

 

 

3. 유효성관련 인수 (Validation arguments)  

--validate	복사된 데이터의 유효성 검사 사용, 단일 테이블 복사본만 지원
--validator <class-name>	특정 vaildator클래스 지정
--validation-threshold <class-name>	사용할 유효성 검사 임계값 클래스 지정
--validation-failurehandler <class-name>	사용할 유효성 검사 오류 처리기 클래스 지정

 

 

4. Import 관련 인수 (Import control arguments)

--append	기존 HDFS의 데이터세트에 데이터 추가
--as-avrodatafile	Avro 데이터파일로 가져오기
--as-sequencefile	SequenceFiles 데이터파일로 가져오기
--as-textfile	text파일로 가져오기 (default)
--as-parquetfile	Parquet 데이터파일로 가져오기
--boundary-query <statement>	분할 작성에 사용한 경계쿼리
--columns <col,col,col…>	테이블에서 가져올 Columns
--delete-target-dir	target directory가 있을 경우 삭제
--direct	데이터베이스에 대한 직접 컨넥터 사용
--fetch-size <n>	데이터베이스에서 한 번에 읽을 항목 수
--inline-lob-limit <n>	inline LOB의 최대크기 설정
-m,--num-mappers <n>	병렬로 작업 할 map tasks 수 설정
-e,--query <statement>	쿼리로 가져올 데이터 지정
--split-by <column-name>	데이터를 병렬로 가져오기 위해 분할하는 기준이 되는 컬럼을 지정
--split-limit <n>	정수 및 날짜 열에 대한 분할크기지정
--autoreset-to-one-mapper	primary key나 분할 기준열이 없는 경우 자동적으로 매퍼가 조정
--table <table-name>	읽을 테이블 지정
--target-dir <dir>	HDFS 디렉토리 경로
--temporary-rootdir <dir>	import될 동안 생성할 임시 HDFS 디렉토리 경로
--warehouse-dir <dir>	지정된 테이블의 상위 HDFS 디렉토리
--where <where clause>	작성할 WHERE절
-z,--compress	압축사용
--compression-codec <c>	사용할 하둡 아축 코덱 (default gzip)
--null-string <null-string>	문자열컬럼이 null일 떄 쓸 문자열
--null-non-string <null-string>	비문자열컬럼이 null일 때 쓸 문자열

 

예시1)

$ sqoop import \
  --table employ \ \
  --columns "id,name,age" \
  --where "id > 300" 

 

예시2)

$ sqoop import \
  --query 'SELECT a.*, b.* FROM a JOIN b on (a.id == b.id) WHERE $CONDITIONS' \
  --split-by a.id --target-dir /user/foo/joinresults

--query 사용시 WHERE절 뒤에 "AND \$CONDITIONS" 문구를 추가하여 이 문장이 조건절을 나타내고 있다는 표시를 해줘야 한다.

Ex) "SELECT * FROM x WHERE a='foo' AND \$CONDITIONS"

또한 복잡한 조인쿼리는 오류가 생길 수 있다.

 

 

5. 병렬 제어 (Contorlling Parallelism)

-m 또는 --num-mappers 인수로 제어 할 수 있다. 병렬시 분할 기준은 기본키 또는 지정한 키값이다.

예를 들어 기본키가 0-1000이고, -m 4(맵리듀스 4개)로 설정하면 각 맵태스크는 250개씩 나누어 작업을 한다.

 

기본 키값이 균일하게 분포되지 않으면 작업 불균형이 생긴다.

--split-by인수를 사용해 명시적인 컬럼을 선택한다.

--split-limit옵션을 사용하여 -m 또는 --num-mapers를 재정의 할 수 있다.

--split-limit옵션은 분할된 태스크의 크기를 제한한다.

 

같은 예시로 위의 1-1000개의 기본키가 있는 테스크를 똑같이 -m 4, 그리고

--split-limit옵션은 task 200개로 지정하면 맵퍼수가 하나 증가하며 5개로 재조정된다.

 

 

6. 저장위치

 /shared/foo 에 저장된다

$ sqoop import --connnect <connect-str> --table foo --warehouse-dir /shared \
    ...

$ sqoop import --connnect <connect-str> --table foo --target-dir /shared/foo\
    ...

--target-dir와 --warehouse-dir은 같이 쓸 수 없다.

또한 대상 디렉토리가 HDFS에 이미 존재하는 경우 작동하지 않는다.

그럴 경우 대상 디렉토리 이름을 변경하던가 ,

--delete-target-dir인수를 사용하여 기존 파일을 지운 후 가져오는 방식을 사용해야 한다.