딥러닝- 손실함수

1. 손실 함수(loss function)

딥러닝의 목적은 바로 최적의 가중치를 찾는 것이다. 처음 임의 모델에 대하여 학습을 진행할 때 우리는 정확도가 높을지 또는 모델이 과적합될지 모른다. 따라서 그 패턴을 찾기 위하여 최적의 가중치를 찾아서 모델을 만들어야 한다.

 

손실 함수는 실제 값과 예측 값의 오차이다. 오차가 클수록 손실함수가 커지며 작을수록 손실함수가 작아지며 손실함수를 줄이는 것이 목표이다.

 

 

2. Binary cross entropy

cross entropy는 분류 모델에 사용한다. 엔트로피는 불확실성을 나타낸다. 예측하기 어려운 사건일수록 정보량이 많아지고 엔트로피가 커진다.

Binary cross entropy는 이진 분류를 위한 손실 함수이다.

 

3. Categorical cross entropy

Categorical cross entropy는 분류해야 할 클래스가 3개 이상일 때 사용한다. 주로 소프트 맥스 함수와 같이 사용된다. 이 두가지 손실 함수는 분류 모델에 사용하며 회귀 모델에는 mse, rsme 등을 사용한다.