My storage My storage

1. categorical variable to numeric variable 범주형 변수를 수치형 변수로 나타낸다. 방법에는 Label Encoding, One-hot Encoding 등이 있다. 2. label encoding 소형, 중형, 대형 같은 범주형 변수를 0, 1, 2의 수치형 변수로 바꿔주는 방법이다. data = pd.read_csv(abalone_path,header=None,names=abalone_columns) label = data['Sex'] del data label 0 M 1 M 2 F 3 M 4 I .. 4172 F 4173 M 4174 M 4175 F 4176 M Name: Sex, Length: 4177, dtype: object 전복 데이터를 불러와서 성별 데이터만..

1. dimensionality reduction 차원의 축소는 차원이 많아지면 많아질수록 공간의 부피가 데이터에 비해 너무 빠르게 증가하기 때문에 사용가능한 데이터가 희박해지기 때문에 사용한다. 따라서 차원의 축소를 하면 데이터의 밀도를 높일 수 있고 사람이 이해하기 쉬워진다는 장점이 있다. 차원 축소를 하면 원본 데이터로부터 정보 손실이 발생하기 때문에 정보 손실을 최소화 하면서 저차원으로 잘 나타내는 것이 중요하다. 2. 차원 축소하기 from sklearn.datasets import load_digits digits = load_digits() 필요한 데이터셋을 불러온다. data = digits.data label = digits.target print(data[0]) print(label[0..

1. sampling 데이터의 불균형한 분포를 가지는 경우 오버 샘플링 또는 언더 샘플링을 실행한다. 2. oversampling, undersampling from imblearn.over_sampling import RandomOverSampler from imblearn.under_sampling import RandomUnderSampler ros = RandomOverSampler() rus = RandomUnderSampler() 필요한 모듈을 불러오고 샘플링을 사용할 변수를 만든다. oversampled_data, oversampled_label = ros.fit_resample(data, label) oversampled_data = pd.DataFrame(oversampled_data, ..

1. vi 편집기 vi 편집기는 각종 문서를 편집할 수 있는 텍스트 기반 편집기로 리눅스와 유닉스 계열의 모든 운영체제에서 사용된다. 1976년에 빌 조이가 만들었으나 아직까지 잘 사용되고 있다. 2. 모드 vi 편집기는 명령모드, 입력모드, 콜론모드가 있으며 명령모드가 기본적인 모드이며 입력모드로 이동 시 파일을 편집할 수 있으며 콜론 모드에서 파일을 저장하거나 종료할 수 있다. 3. 사용법 1. 시작 vi [파일이름]을 입력하여 명령모드로 이동할 수 있다. 2. 명령모드 -> 입력모드 전환, esc를 눌러 돌아올 수 있다. 3. 행 이동 4. 내용 삭제 5. 복사, 붙여넣기 6. 검색 7. 종료 마지막 행 모드는 : 입력하여 이동하고 esc를 눌러 되돌아올 수 있다.

1. 접근 권한 접근 권한은 소유자, 그룹, 기타 사용자로 나뉜다. 2. 접근 권한 종류 접근 권한에는 읽기, 쓰기, 실행이 있으며 r, w, x로 표현한다. 3. 접근 권한 표기법 소유자는 읽기, 쓰기가 가능하며 그룹과 기타 사용자는 읽기만 가능하다. 4. 접근 권한 변경 chmod를 사용하여 접근 권한을 변경하는데 기호모드와 숫자모드 두 가지 방식이 있다. 1. 기호모드 2. 숫자모드 기호모드는 단순하게 표시하는 것이고 숫자모드는 2진수로 표시하는 것이다.

1. 명령의 구조 명령 [옵션] [인자] 의 구조로 이루어진다. 명령은 필수이며 옵션, 인자는 선택이다. 명령 : 동작을 입력하는 것이다. 옵션 : 명령에 따라 옵션이 있을 수도 있고 없을 수도 있으며 명령의 세부기능을 선택하는 것이다. 인자 : 인자는 명령으로 전달되는 값이며 주로 파일이나 디렉토리 이름이다. 현재 디렉토리에 있는 파일을 확인한다. 현재 디렉토리에 있는 숨겨진 파일이나 폴더까지 확인하는 옵션을 준다. tmp 폴더에 ls -a 명령을 실행한다. 2. 기초 명령 지금 날짜와 시간 확인 : date 화면을 지우기 : clear 명령 사용법 보기 : man [명령어] 사용자 비밀번호 변경 : passwd[인자] 문자 지우기: backspace or delete 단어 지우기: ctrl+w 행 지..

1. 머신러닝 머신러닝은 인공지능을 컴퓨터에 부여하기 위한 기술로 여러 가지 알고리즘을 사용하여 데이터를 분석하고, 학습한 후 새로운 데이터를 판단하거나 예측하는 기술이다. 머신러닝은 지도학습(supervised learning), 비지도학습(unsupervised learning), 강화학습(reinforcement learning)으로 나뉜다. 2. 지도 학습 입력 값과 함께 정답을 같이 주고 학습을 시키는 방법이다. 1. 분류(classification) 분류는 주어진 데이터를 정해진 라벨에 따라 분류하는 모델이다. knn, decision tree, random forest, svm 등의 알고리즘이 있다. 2. 회귀(regression) 회귀는 데이터들의 특징을 토대로 값을 예측하는 것으로 결과에..

1. queue 메시지를 저장할 수 있는 저장소이고 queue 하나당 64kb를 저장할 수 있다. 큐를 사용하는 목적은 서비스와 서비스 사이에 메시지를 전달하여 여유를 주어서 loosely coupled achetecture를 만들기 위해서 사용된다. 서비스 구조가 너무 타이트하면 한 번에 데이터가 많이 들어올 때 등 여러 상황에서 문제가 발생할 수 있기 때문이다. 2. 큐 생성 !pip install azure-storage-queue==2.1.0 Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/ Collecting azure-storage-queue==2.1.0 Downloa..