[ Organization이란? ] AWS Organizations 기능 중앙에서 계정 관리 계정 일부나 전체에 정책연결 가능 계정 별로의 서비스 사용 요금 식별 가능 계정 별로 활동 기록 로그 추적 계정 또는 계정을 그룹화 하여 서비스 액세스관리 계정 수준으로 권한 관리를 확장( Organizations >> 사용자 iam role ) 다른 AWS 서비스와 통합 전역 액세스 ( 리전 구분없음 ) AWS Organizations 요금 무료 AWS Organizations에 액세스 Organization Console AWS CLI AWS SDK AWS HTTPS API AWS Organizations 개념 [ 실습 ] 1. 조직 만들기 2. 기존 멤버 초대하기 3. 조직 단위 만들기 4. 서비스 제어 정..

사전 설치1. Docker 2. Pycharm3. aws access key  Dokcer 설정이미지 다운로드docker pull amazon/aws-glue-libs:glue_libs_4.0.0_image_01 컨테이너 실행# -e DISABLE_SSL=true : SSL을 사용하지 않도록 설정# /home/glue_user/jupyter/jupyter_start.sh : 생성과 동시에 노트북 실행# 실행 - Mac/Linuxdocker run -itd \ -p 8888:8888 -p 4040:4040 \ -v ~/.aws:/root/.aws:ro \ -e DISABLE_SSL=true \ -e AWS_REGION=ap-northeast-2 \ -e AWS_ACCESS_KEY..

Pycharm 환경에서 Layer를 생성하고 배포하는 과정이다. 1. Layer 선언 프로젝트에 패키지 하나를 따로 생성해 Layer로 쓸 function들을 정의한다. 이후 template.yaml 파일에 해당 패키지를 mapping해준다. [ template.yaml ] TestCommon: Type: AWS::Serverless::LayerVersion Properties: ContentUri: test_common/ CompatibleRuntimes: - python3.9 LayerName: test_common RetentionPolicy: Retain 명시한 Layer(TestCommon)를 배포 시 해당 함수에 물리게끔 하는 작업이 필요하다. 2가지 방법이 있는데, Globals부분 또는 R..

1. template.yaml 파일 수정 AWSTemplateFormatVersion: '2010-09-09' Transform: AWS::Serverless-2016-10-31 Description: > test description # Global 설정 Layer선언 부분 Globals: Function: Timeout: 3 # 람다 함수 관련 부분 Resources: # 대표이름, sam build시 해당 이름으로 폴더가 생성됨 HelloWorld: Type: AWS::Serverless::Function Properties: # 해당 폴더가 있는 URL ( ex. myPycharmProject/sam-app/hello_world/app.py ) CodeUri: hello_world/ # 함수명, ..

[ 사전 설정 ] 1. aws cli OS별 설치 방법 : https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/install-cliv2.html 2. aws sam cli OS별 설치 방법 : https://docs.aws.amazon.com/serverless-application-model/latest/developerguide/serverless-sam-cli-install.html 3. docker 설치 Run Function을 하게 되면 Docker 환경에서 실행 됨 Mac OS일 경우 마운트 경로 추가 4. pycharm 설정 plugin에서 aws toolkit을 검색 하여 설치 aws설치 path가 잘 잡혔는지 확인 프로젝트 생성 [ SAM 명..

SageMaker는 Spark-Shell과 같이 실행 시 Spark 세션 변수가 초기화 된다. 따로 define하지 않아도 print(spark) 하면 값이 할당 된 것을 볼 수 있다. 반면에 Glue Job Script는 Spark 세션변수를 선언해줘야 한다. [ SageMaker ] import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job ## @params: [JOB_NAME] args = getResolv..

상황 : Elasticach Redis에 cpu / memory 70%이상 임계값일 경우 경보 1. CloudWatch 접속 https://ap-northeast-1.console.aws.amazon.com/cloudwatch/home?region=ap-northeast-1#alarmsV2:alarm/elasticach-memory? 참조 : https://aws.amazon.com/ko/elasticache/redis/faqs/ 2. 좌측경보메뉴 클릭 -> 경보생성 3. 해당지표 검색하여 경보생성 - CPU 관련 지표 : EngineCPUUtilization - 메모리관련 지표 : DatabaseMemoryUsagePercentage 4. Amazon SNS에서 주제/구독 생성 및 확인 5. 구독시 설..

awscli 설치 $ sudo apt update $ sudo apt install awscli $ aws --version awscli 접속정보 설정 $ aws configure 내보안자격증명에서 AccessKeyID, AccessKeyPWD 입력 리전은 ap-northeast-2 Output type은 Json 확인 $ aws configure list 데이터 카피할 버킷생성 $ aws s3 mb s3://dg-s3-demo 해당 URL에서 샘플데이터 https://registry.opendata.aws/ $ aws s3 ls s3://nyc-tlc/trip\ data/ $ aws s3 cp s3://nyc-tlc/trip\ data/ s3://dg-s3-demo/ --recursive AWS CLI..