My storage My storage

1. 활성화 함수 활성화 함수란 입력된 데이터의 가중 합을 출력신호로 변환하는 함수이다. 즉 가중치를 계산한 퍼셉트론의 마지막 단계에 위치하고 있는 것이다. 활성화 함수는 은닉층에서 비선형 함수여야 한다. 인공 신경망의 능력을 높이기 위해서는 은닉층을 계속해서 쌓아야 한다. 하지만 활성화 함수를 선형함수로 추가할 경우 가중치가 생기지만 계속해서 값을 곱하는 것이기 때문에 결국 한번 추가한 것과 차이가 없다. 또한 입력에 이상치가 존재하는 경우 분류가 불가능해진다. 2. 시그모이드 함수 기본적으로 시그모이드 함수는 0에서 1 사이의 값을 연속적으로 반환하는 함수이다. 계단함수의 0과 1의 이진값만을 반환한다는 단점을 보완한 함수이다. 하지만 시그모이드 함수는 치명적인 문제로 기울기 소실이 있다. 1. 시그..

1. 딥 러닝 딥러닝은 머신 러닝의 한 알고리즘으로, 인공 신경망을 사용하여 기계를 학습시키는 것이다. 2. cpu vs gpu gpu는 비디오, 즉 픽셀로 이루어진 영상을 처리하는 용도로 탄생했다. 대표적으로 nvidia에서 개발한 gpu 개발 툴 cuda를 많은 개발자들이 딥러닝을 위해서 사용하기 시작하였다. gpu는 cpu의 코어 개수가 8~16개인데 비해 몇천 개 이상이므로 반복적이고 비슷한, 대량의 연산을 수행하며 이를 병렬적으로 나누어 작업하기 때문에 속도가 빠르고 수백 개의 인공 신경망을 학습할 수 있게 되는 것이다. 따라서 단순한 행렬연산이 많이 필요한 딥러닝을 위해서 gpu가 사용되고 신경망을 사용하지 않는 일반적인 머신러닝의 속도는 cpu의 처리속도가 빠를 것이다. 3. 신경망 nura..