[ 저장소 ]git remote  - git 원격저장소[Repository] 목록 확인git remote -v  - git 원격저장소 이름과 url 목록 확인git remote add 저장소이름 저장소URL   - 저장소URL의 원격저장소를 저장소이름으로 추가git remote rm 저장소이름  - 저장소이름의 원격저장소 제거  [ 확인 ]git log  - commit 로그 확인git status  - 파일 상태 확인(staged, untracked, ..)git diff  - commit된 파일상태와 현재 수정중인 상태 비교git diff --staged  - commit된 파일상태와 add된 파일 상태 비교  [ 변경사항 취소 ]git checkout -- src/hello.c- 특정 파일을 마지막..

SageMaker는 Spark-Shell과 같이 실행 시 Spark 세션 변수가 초기화 된다. 따로 define하지 않아도 print(spark) 하면 값이 할당 된 것을 볼 수 있다. 반면에 Glue Job Script는 Spark 세션변수를 선언해줘야 한다. [ SageMaker ] import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job ## @params: [JOB_NAME] args = getResolv..

상황 : Elasticach Redis에 cpu / memory 70%이상 임계값일 경우 경보 1. CloudWatch 접속 https://ap-northeast-1.console.aws.amazon.com/cloudwatch/home?region=ap-northeast-1#alarmsV2:alarm/elasticach-memory? 참조 : https://aws.amazon.com/ko/elasticache/redis/faqs/ 2. 좌측경보메뉴 클릭 -> 경보생성 3. 해당지표 검색하여 경보생성 - CPU 관련 지표 : EngineCPUUtilization - 메모리관련 지표 : DatabaseMemoryUsagePercentage 4. Amazon SNS에서 주제/구독 생성 및 확인 5. 구독시 설..

[ 도커 실행 ] docker run [OPTIONS] IMAGE[:TAG|@DIGEST] [COMMAND] [ARG...] $ docker run ubuntu:16.04 컨테이너 시작, 해당 컨테이너가 없다면 다운로드 후 컨테이너 생성 후 시작 $ docker run --rm -it ubuntu:16.04 /bin/bash --rm : 프로세스가 종료되면 컨테이너도 삭제 -it : 터미널 입력을 위한 옵션 /bin/bash : 해당 컨테이너의 Bash Shell 접속 $ docker run -d -p 1234:6397 redis -d : 백그라운드로 실행 -p : 포트연결, 1234의 호스트 포트를 6379의 컨테이너 포트로 연결 - redis test example $ telnet localhost ..

[ Windows에 Docker설치 ] # Power Shell을 관리자권한으로 연 후, 명령어$ dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart$ dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart #x64 머신용 최신 WSL2 Linux 커널 업데이트 패키지 설치 https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi #버전 설정$ wsl --set-default-version 2 #아래 URL에서 Wind..

awscli 설치 $ sudo apt update $ sudo apt install awscli $ aws --version awscli 접속정보 설정 $ aws configure 내보안자격증명에서 AccessKeyID, AccessKeyPWD 입력 리전은 ap-northeast-2 Output type은 Json 확인 $ aws configure list 데이터 카피할 버킷생성 $ aws s3 mb s3://dg-s3-demo 해당 URL에서 샘플데이터 https://registry.opendata.aws/ $ aws s3 ls s3://nyc-tlc/trip\ data/ $ aws s3 cp s3://nyc-tlc/trip\ data/ s3://dg-s3-demo/ --recursive AWS CLI..

[ 도커설치 ] sudo yum -y update sudo yum -y install docker docker version sudo yum -y install git # demo 다운로드 git clone https://github.com/cloudnativedevops/demo # 도커실행 sudo systemctl status docker sudo systemctl start docker # demo 실행 sudo docker container run -p 9999:8888 --name hello cloudnatived/demo:hello *웹 브라우저 http://localhost:9999 로 들어가 Hello, 世界 글귀를 확인 [ 도커이미지 빌드 ] sudo docker image build ..

[ 에러 ] org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException: Column family table does not exist in region hbase:meta [ 원인 ] 연결하려는 Hbase와 Spark의 Hbase jar 파일의 버전이 맞지 않아 생김 [ 해결 ] Spark에 설치된 Hbase와 Hbase관련 Jar파일, 연결하려는 Hbase와 관련 Jar파일의 버전을 맞춘다.