1. AWS 네트워크 다이어그램AWS에서 내부 서비스를 접근할 때, 또는 외부 인터넷을 사용할 때 다이어그램을 요약하자면 아래와 같습니다.많이 복잡하지만, 아래 다른 네트워크 개념을 보고 다시 살펴보면 어떻게 작동하는지 어느정도 이해가 됩니다.  2. CIDRCIDR란?먼저 CIDR란 개념을 알고 가야합니다.- Classless Inter Domain Routing 약자- IP 주소를 여러 네크워크 영역으로 나누기 위해 IP를 묶는 방식- 여러 개의 사설망을 구축하기 위해 망을 나누는 방법- A.B.C.D/E 형식    ㄴ 10.0.1.0/24, 172.0.0.1/12 CIDR Notation- CIDR Notation는 IP 주소의 집합입니다. 192.168.2.0/24 일 때, 각 자리가 8bit로 ..

아래 설정이 된 상태에서 진행https://wave35.tistory.com/101 AWS - Lakeformaiton 설정Glue Data Catalog를 통해 DB, Table을 관리하던 내용을 LakeFormation을 통하면 한번에 관리가 가능하다. Cloutrail을 통하여 로그 조회, IAM유저마다 각각 테이블 공유 및 테이블 권한(읽기&쓰기) 설정을 세세wave35.tistory.com  [ 시나리오 ]AA계정의 아테나 테이블을 BB계정에 공유  [ AA계정의 아테나 테이블을 BB계정에 공유 ] 1. 테이블 공유AA계정에 로그인 하여 Permission->Data lake permissions->Grant버튼 클릭 하여Grant permissions 메뉴에서 아래와 같이 설정 Grant버튼을..

Glue Data Catalog를 통해 DB, Table을 관리하던 내용을LakeFormation을 통하면 한번에 관리가 가능하다. Cloutrail을 통하여 로그 조회,IAM유저마다 각각 테이블 공유 및 테이블 권한(읽기&쓰기) 설정을 세세하게 할 수 있다. 또한 Organization을 통해 조직내의 Athena 테이블들에 대해교차계정 공유를 할 수도 있는 등여러 관리 포인트를 줄일 수 있다. 초기 설정은 아래와 같다. [ Setting 체크박스 해제 ]  [ Admin 계정 등록 ]Choose administrators 버튼을 클릭하여 관리자 유저를 등록한다.  [ Databases ]데이터베이스가 공유 될 시, 해당 체크박스가 해제가 안되어있으면아래와 같은 Grant permissions fail..

[ 테스트 ]AAAA계정의 S3에서 파일이 업로드되면BBBB계정의 Lambda 실행   [ BBBB 계정 ] 1. Lambda 함수가 있는 AWS 계정을 사용하여 Lambda 콘솔에서 함수 페이지를 엽니다.2. Amazon S3에서 호출할 Lambda 함수의 이름을 선택합니다.3. 구성 탭에서 권한을 선택합니다.4. 리소스 기반 정책 창에서 권한 추가를 선택합니다. 5. 정책 문 창에서 AWS 서비스를 선택합니다. 서비스 드롭다운 목록이 나타납니다.6. 서비스 드롭다운 목록에서 S3를 선택합니다. 더 많은 텍스트 필드가 나타납니다.7. 소스 계정의 경우 Amazon S3 버킷을 호스팅하는 계정의 AWS 계정 ID를 입력합니다.8. 소스 ARN에 Amazon S3 버킷의 ARN을 입력합니다. 다음 형식을 ..

다른 계정의 IAM을 사용하여 Lambda함수에서 다른계정의 S3, Athena, Glue 등을 컨트롤 예제 : AAAA 계정의 람다함수를 통해 BBBB계정의 S3와 athena, glue테이블에 접근 [ 1 ] AAAA 계정에서 람다를 실행하는 iam role(my-lambda-etl-role)에 AccessCrossIAMBBBB라는 정책을 생성한 후, 아래 스크립트 추가 (기존 role에 추가시 policy로 생성 후 연동) { "Version": "2012-10-17", "Statement": { "Effect": "Allow", "Action": "sts:AssumeRole", "Resource": "arn:aws:iam::BBBB:role/bbbb-lambda-etl-role" } } [ 2 ]..

Awsconsole -> Cloudwatch -> 좌측메뉴 -> 이벤트 -> 규칙 -> 규칙생성 1. 패턴을 이용한 Event 생성 예시는 특정 Glue job이 끝나면 Lambda함수 시작하는 Trigger Event 생성 a) 서비스 이름/ 이벤트 유형을 선택한다. b) 이벤트 패턴을 작성 { "source": [ "aws.glue" ], "detail-type":[ "Glue Job State Change" ], "detail": { "state": [ "SUCCEEDED" ], "jobName": [ "GlueJobName" ] } } 참조 : https://docs.aws.amazon.com/ko_kr/AmazonCloudWatch/latest/events/EventTypes.html#glue-..

[ 시나리오 ] Master EC2에서 Shell Script로 10개의 EC2를 생성해 S3를 이용하여 'A' 라는 작업을 실행. 작업실행 후 10개의 EC2 종료 [ 실행예제 ] 1. EC2 생성 2. S3를 가져와 A작업을 하는 _run.sh 코드작성 #!/bin/bash if [ $# -ne 2 ]; then echo "Usage: $0 yyyyMMdd filename" exit -1 fi DATE=$1 FILE=$2 AWS_REGION=s3.ap-northeast-2.amazonaws.com AWS_ACCESS_KEY_ID=AKAKAKAAKAAAAA AWS_SECRET_ACCESS_KEY=080sdfsdf(((D0sdf/3333 S3_INPUT_PATH="s3://bucket/input/${DA..

[ 수명 주기 관리 ] 스토리지 수명 주기 관리에는 2가지 작업으로 수행한다.전환작업만료작업해당 작업을 위해선 설정하려는 S3에 대해날짜와 빈도를 고려해야 최적의 비용을 산출 할 수 있다. 날짜 : 최근 N일은 자주 사용하지만 그 이후는 참조가 거의 없음빈도 : N일 동안 M번 정도 참고 할 것 같고, N일 이후에는 액세스가 적지만 P번 정도 참조[ 수명 주기 구성 생성 ] 생성할 수 있는 ToolAmazon S3 콘솔REST APIAWS SDK AWS CLI  [ 객체 전환 ] 아래의 그림과 같이 내려갈수록 객체 액세스 빈도 ↓, 비용 ↓ 또한 하위 객체에서 상위 객체로의 전환은 불가하다.  * 제약사항 * 사이즈S3 Standard-IA, S3 Intelligent-Tiering, S3 One Zon..