머신러닝의 회귀(Regression)과 손실함수, GDA에 대한 간단정의

회귀 Regression

Training Data를 이용하여 데이터의 특성과 상관관계 등을 파악하고, 그 결과를 바탕으로 Training Data에 없는 미지의 데이터가 주어졌을 경우에, 그 결과를 연속적인 (숫자)값으로 예측하는 것

 

학습 Learning

Training Data의 특성을 가장 잘 표현할 수 있는 가중치 W(기울기), 바이어스 b(y절편)를 찾는 것

 

오차 Error

Training Data의 정답(t)과 직선 y = Wx + b값의 차이인 오차(Error)는 Error = t-y = t - (Wx + b)으로 계산되며, 오차가 크다면, 우리가 임의로 설정한 직선의 가중치와 바이어스 값이 잘못된 것이고, 오차가 작다면 직선의 가중치와 바이어스 값이 잘 된 것이기 때문에 미래 값 예측도 정확할 수 있다고 예상할 수 있음

 

머신러닝의 regression 시스템은, 모든 데이터의 오차 Error = t-y = t - (Wx + b)의 합이 최소가 되어 미래값을 잘 예측할 수 있는 가중치W와 바이어스 b 값을 찾는 것이다.

 

손실 함수 Loss function or Cost function

손실 함수는 training data의 정답 t와 입력 x에 대한 계산 값 y의 차이를 모두 더해 수식으로 나타낸 것이다.

각각의 오차인 (t-y)를 모두 더해서 손실함수를 구하면 각각의 오차가 +, -가 동시에 존재하기 때문에 오차의 합이 0이 나올 수 있으므로 제곱하여 에러를 방지한다.

Training Data를 바탕으로 손실 함수 E(W, b)가 최소값을 갖도록 구현하는 것이 Linear Regression Model의 최종목적이다.

 

GDA 경사하강법 Gradient Descent Algorithm

원리

1. 임의의 가중치 W 선택

2. 그 W에서의 직선의 기울기를 나타내는 미분 값을 구함

3. 그 미분 값이 작아지는 방향으로 W 감소(또는 증가) 시켜 나가면

4. 최종적으로 기울기가 더 이상 작아지지 않는 곳을 찾을 수 있는데, 그 곳이 손실함수 E(W) 최소값임을 알 수 있다.

W에서의 직선의 기울기인 미분값을 이용하여 그 값이 작아지는 방향으로 진행하여 손실함수 최소값을 찾는 방법을 경사하강법 GDA라고 한다.