머신 러닝 - 선형 회귀(2)_비용(cost / loss)

앞서 우리는 컴퓨터에게 h = wx + b라는 하나의 가설을 통해서 직선을 그리는 방법을 알려주었습니다.

 

결국 컴퓨터는, 무한한 여러 직선을 그릴 수 있을 것이고...!
무한한 여러 선중에서, 어떠한 선이 가장 합리적인지를 판단하는 것이 중요한 문제일 것입니다.

 

이때, 우리는 비용(cost/loss)을 통해서 합리적인 선을 판단할 수 있습니다.

"비용...?" 생소한 용어이겠지만, "오차" 라고 생각하시면 됩니다.

그럼 우리는 하나의 예제를 통해서 비용에 대해서 알아보도록 하겠습니다.

이렇게 2차원 그래프에 점들이 찍혀 있다고 가정합시다.

그리고 다음과 같이 하나의 직선(가설)을 그려보았습니다.

그럼 원래 점(실제 값) 들과 우리가 그은 직선(예측 값) 과의 거리(오차)가 발생하는데요... 이것(오차)을 비용이라고 합니다.

그렇다면, 우리는 7개의 점들에 대한 비용(오차)들을 다 더해준다면, 비용을 구할 수 있을 것입니다.

 

식으로 표현하게 된다면 이렇게 나타날 수 있습니다.

수학식으로 표현하게 된다면, 

이렇게 표현할 수 있습니다.

 

저 그림에서는 7개 점이 있으니깐 각각의 거리를 제곱해서 다 더해줍니다. 그리고, 점들의 개수 즉 7만큼 나누어서 평균을 구해주는 것입니다. 여기서 제곱을 해주는 이유는, 

 

그림에서 보이는 것처럼 선 아래에 있는 점들 +의 값을 가질 것이고, 위에 값들은 –의 값 가질 것입니다.
만약 위에 점들과 아래의 점들의 간격이 같다면, 오차가 발생함에도 불구하고...
비용은 0이 되는 상황이 발생할 수 있게 됩니다.

그렇기 때문에 우리는 모든 오차를 양수로 만들어 주기 위해서 제곱을 해주는 것입니다.

그렇다면, 이번에는 두 개의 직선을 가지고 비교해 보도록 하겠습니다.

왼쪽과 오른쪽의 가설(직선)의 비용이 어떤것이 더 큰지 눈으로 확인 가능하시죠?!

오른쪽 가설이 실제 값과 예측 값의 차이가 크니깐, 당연히 비용도 높을 것이고,
왼쪽 가설은 오른쪽 가설보다 비용이 작은 것을 확인할 수 있습니다.

따라서, 왼쪽 가설이 더 합리적인 직선이라고 말할 수 있습니다.

 

이처럼 컴퓨터는, 여러 선들중에서 가장 합리적인 직선을 찾아낼 수 있을 것입니다.

 

하지만, 2차원 그래프에 선을 그릴 수 있는 방법은 무한개가 있을 텐데...

모든 선을 그린 후, 비용을 확인하는 것은 불가능하겠죠..?

 

다음 포스팅에서는 컴퓨터가 어떻게 최소의 비용을 갖는 선을 빠르게 찾는 방법인 경사 하강법에 대해 알아보도록 하겠습니다.