Elasticsearch의 무료버전인 Opendistro 설치과정 [ opendistro 설치 ] 가이드를 보고 설치한다. https://opendistro.github.io/for-elasticsearch-docs/docs/install/ single node 설정 elasticsearch.yml 수정 # 네크워크 접근 대역설정 network.host: 0.0.0.0 # 싱글노드 타입 discovery.type: single-node # 주석으로 막혀져 있어야한다 # cluster.initial_master_nodes: ["node-1", "node-2"] 추가 설정 (optional) 기본 config 파일은 etc/elasticsearch/elasticsearch.yml 파일이다. bootstrap..

[ 시나리오 ] Master EC2에서 Shell Script로 10개의 EC2를 생성해 S3를 이용하여 'A' 라는 작업을 실행. 작업실행 후 10개의 EC2 종료 [ 실행예제 ] 1. EC2 생성 2. S3를 가져와 A작업을 하는 _run.sh 코드작성 #!/bin/bash if [ $# -ne 2 ]; then echo "Usage: $0 yyyyMMdd filename" exit -1 fi DATE=$1 FILE=$2 AWS_REGION=s3.ap-northeast-2.amazonaws.com AWS_ACCESS_KEY_ID=AKAKAKAAKAAAAA AWS_SECRET_ACCESS_KEY=080sdfsdf(((D0sdf/3333 S3_INPUT_PATH="s3://bucket/input/${DA..

[ 수명 주기 관리 ] 스토리지 수명 주기 관리에는 2가지 작업으로 수행한다.전환작업만료작업해당 작업을 위해선 설정하려는 S3에 대해날짜와 빈도를 고려해야 최적의 비용을 산출 할 수 있다. 날짜 : 최근 N일은 자주 사용하지만 그 이후는 참조가 거의 없음빈도 : N일 동안 M번 정도 참고 할 것 같고, N일 이후에는 액세스가 적지만 P번 정도 참조[ 수명 주기 구성 생성 ] 생성할 수 있는 ToolAmazon S3 콘솔REST APIAWS SDK AWS CLI  [ 객체 전환 ] 아래의 그림과 같이 내려갈수록 객체 액세스 빈도 ↓, 비용 ↓ 또한 하위 객체에서 상위 객체로의 전환은 불가하다.  * 제약사항 * 사이즈S3 Standard-IA, S3 Intelligent-Tiering, S3 One Zon..

[ Organization이란? ] AWS Organizations 기능 중앙에서 계정 관리 계정 일부나 전체에 정책연결 가능 계정 별로의 서비스 사용 요금 식별 가능 계정 별로 활동 기록 로그 추적 계정 또는 계정을 그룹화 하여 서비스 액세스관리 계정 수준으로 권한 관리를 확장( Organizations >> 사용자 iam role ) 다른 AWS 서비스와 통합 전역 액세스 ( 리전 구분없음 ) AWS Organizations 요금 무료 AWS Organizations에 액세스 Organization Console AWS CLI AWS SDK AWS HTTPS API AWS Organizations 개념 [ 실습 ] 1. 조직 만들기 2. 기존 멤버 초대하기 3. 조직 단위 만들기 4. 서비스 제어 정..

사전 설치1. Docker 2. Pycharm3. aws access key  Dokcer 설정이미지 다운로드docker pull amazon/aws-glue-libs:glue_libs_4.0.0_image_01 컨테이너 실행# -e DISABLE_SSL=true : SSL을 사용하지 않도록 설정# /home/glue_user/jupyter/jupyter_start.sh : 생성과 동시에 노트북 실행# 실행 - Mac/Linuxdocker run -itd \ -p 8888:8888 -p 4040:4040 \ -v ~/.aws:/root/.aws:ro \ -e DISABLE_SSL=true \ -e AWS_REGION=ap-northeast-2 \ -e AWS_ACCESS_KEY..

Pycharm 환경에서 Layer를 생성하고 배포하는 과정이다. 1. Layer 선언 프로젝트에 패키지 하나를 따로 생성해 Layer로 쓸 function들을 정의한다. 이후 template.yaml 파일에 해당 패키지를 mapping해준다. [ template.yaml ] TestCommon: Type: AWS::Serverless::LayerVersion Properties: ContentUri: test_common/ CompatibleRuntimes: - python3.9 LayerName: test_common RetentionPolicy: Retain 명시한 Layer(TestCommon)를 배포 시 해당 함수에 물리게끔 하는 작업이 필요하다. 2가지 방법이 있는데, Globals부분 또는 R..

1. template.yaml 파일 수정 AWSTemplateFormatVersion: '2010-09-09' Transform: AWS::Serverless-2016-10-31 Description: > test description # Global 설정 Layer선언 부분 Globals: Function: Timeout: 3 # 람다 함수 관련 부분 Resources: # 대표이름, sam build시 해당 이름으로 폴더가 생성됨 HelloWorld: Type: AWS::Serverless::Function Properties: # 해당 폴더가 있는 URL ( ex. myPycharmProject/sam-app/hello_world/app.py ) CodeUri: hello_world/ # 함수명, ..

[ 사전 설정 ] 1. aws cli OS별 설치 방법 : https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/install-cliv2.html 2. aws sam cli OS별 설치 방법 : https://docs.aws.amazon.com/serverless-application-model/latest/developerguide/serverless-sam-cli-install.html 3. docker 설치 Run Function을 하게 되면 Docker 환경에서 실행 됨 Mac OS일 경우 마운트 경로 추가 4. pycharm 설정 plugin에서 aws toolkit을 검색 하여 설치 aws설치 path가 잘 잡혔는지 확인 프로젝트 생성 [ SAM 명..