1. Apply & Mapimport pandas as pd### ###### 04 Apply & Map ###### ###df= pd.read_csv('https://raw.githubusercontent.com/Datamanim/pandas/main/BankChurnersUp.csv')# Income_Category의 카테고리를 map 함수를 이용하여 다음과 같이 변경하여 newIncome 컬럼에 매핑하라dic = { 'Unknown' : 'N', 'Less than $40K' : 'a', '$40K - $60K' : 'b', '$60K - $80K' : 'c', '$80K - ..

1. Getting- dir, shape, columns, info, dtype, iloc# 롤 랭킹 데이터 : https://www.kaggle.com/datasnaek/league-of-legends# DataUrl = ‘https://raw.githubusercontent.com/Datamanim/pandas/main/lol.csv’import pandas as pd### ###### 01 Getting & Knowing Data ###### #### 데이터 로드, 데이터는 \t을 기준으로 구분df = pd.read_csv("https://raw.githubusercontent.com/Datamanim/pa..

1.Basic데이터 프레임 만들기import pandas as pddf1 = pd.DataFrame( [[3,2,5],[10,0,2],[6,5,3]], columns=["사과", "자두", "포도"], index=["이성계", "김유신", "이순신"]) values, index, columnsdf1.values# array([[ 3, 2, 5],# [10, 0, 2],# [ 6, 5, 3]])df1.index# Index(['이성계', '김유신', '이순신'], dtype='object')df1.columns# Index(['사과', '자두', '포도'], dtype='object')## numpy와 같이 pandas도 value를 조건에 따라 bool..

3.1 클러스터 아키텍처쿠버네티스는 여러 대의 서버가 하나의 클러스터로 연결되어 있다. 3.1.1 컨트롤 플레인 컨트롤 플레인클러스터의 두뇌 역할을 하며 컨테이너 스케줄링, 서비스관려, API관리 등의 작업을 수행한다. kube-apiserver- 컨트롤 플레인의 프론트엔드 서버로 API 요청을 처리한다. etcd- 어떤 노드가 존재하고 클러스터에 어떤 리소스가 존재하는지와 같은 k8s 정보를 저장하는 DB이다. kube-scheduler- 새로 생성된 파드를 실행할 노드를 결정한다. kube-controller-manager- 디플로이먼트와 같은 리소스 컨트롤러를 관리한다. cloud-controller-manager- 클라우드 기반 클러스터는 클라우드업체와 연동하여 로드벨런서나 디스크볼륨 같은 자원을..

MinikubeMinikube는 도커 데스크톱과 유사하게 컴퓨터에서 실행되는단일 노드 쿠버네티스 클러스터를 제공한다.로컬에서 k8s를 테스트 해 볼 수 있는 환경을 제공한다. 도커 데스크톱 버전 설치brew install --cask docker k8s 설치brew install minikube 설치 확인which minikube>>>/opt/homebrew/bin/minikube  실행minikube start아래와 같이 도커데스크톱에서 '이미지'와 '컨테이너'에 minikube가 실행되는지 확인한다. 설정파일다른 k8s 클러스터와 같이 사용하고 있으면 config 파일을 분리해서minikube만 사용할 수 있도록 한다. cat ./kube/config_minikubeapiVersion: v1clust..

[ 프로메테우스란? ]Prometheus는 오픈 소스 시계열 데이터베이스 및 모니터링 시스템주로 애플리케이션과 시스템의 성능을 모니터링하고 경고를 생성하는 데 사용즉, Prometheus는 시스템의 상태를 실시간으로 추적하고 문제를 조기에 발견할 수 있도록 도와주는 어플리케이션  [ 프로메테우스 데이터 저장 ]프로메테우스는 레코드를 수집하고 나서 해당 레코드 데이터를 즉시 스토리지에 저장하지 않는다.인메모리 버퍼에 잔뜩 들고 있다가,새로 들어온 레코드가 현재 메모리 페이지의 크기를 32KB가 넘어가게 만드는 경우현재 페이지를 WAL 파일에 Flush 한다.즉, 일차적으로 데이터를 메모리에 저장하는 것을 원칙으로 하되, 나름 주기적으로 WAL 파일에 백업하는 셈이다. 이렇게 저장되는 데이터 공간을 일반적으..

프로그래머스에서 하반기 채용 대비를 위해 웨비나를 개최했다. ZOOM 온라인으로 참여할 수 있기에 신청을 하였고 한시간 반정도의 웨비나를 진행했다. 코딩테스트를 보는 이유요약하자면 기업에서 저비용으로 지원자의 총 모수를 필터링하기 위한 방법이기 때문이다. 코딩테스트 준비코딩 테스트를 위한 코어과목을 설명해주셨다.- 자료구조- 알고리즘 - 이산수학 (선택)  코딩 테스트 연습 사이트 활용백준과 프로그래머스를 예시를 들며 활용 예시를 설명하였다.아무래도 강사님이 프로그래머스 문제출제자이기 때문에 프로그래머스를 통한 코딩테스트를 위주이지만,내 경험으로는 대부분 기업들은 자체 코딩테스트 툴을 통해 시험을 보았다. 개인적인 의견이지만백준은 문제가 많지만 실제 코테에 나오는 것을 따로 분류하여야하는 번거로움이 있..

python에서 AWS Athena의 query를 활용하는데는 보편적으로 2가지 방법이 있다.하나는 pyathena 라이브러리의 connect.cursor()를 사용하는 방법이고, 다른 하나는 Boto3의 start_query_execution API를 사용하는 방법이다.  pyathena.connect 사용pyathena는 AWS Athena와의 상호작용을 단순화한 라이브러리로,SQL 쿼리 실행 및 결과 조회를 간편하게 할 수 있다.from pyathena import connectimport pandas as pd# Athena에 연결conn = connect( s3_staging_dir='s3://your-bucket/path/', # 쿼리 결과를 저장할 S3 버킷 경로 region_n..