ML) 선형회귀 ( Linear Regression )

Linear Regression

• 단순 선형회귀 모델

단순 선형 회귀 모델

Model :

Y 는 Real response, X1 = Predictor 이다.

 

추정 모형 :

y(hat) = x(i1)에 대한 예측되어 지는 값

Beta(hat) = 우리가 추정한 상수값

 

모형의 도입을 위해서는 True Model을 가정해야한다. (1)번 모델

즉, 이론적 결과는 True Model 의 가정하에서 유도된다는 것이다.

 

훈련용데이터를 통해서 Beta(hat) 값들은 계속해서 변화하게 되지만, 많은 경우를 진행한 후 평균적인 값을 내게 되면, 실제 True Model과 유사한 값을 가지게 된다.

 

• Beta(hat)값은 훈련용데이터에 의존하는 랜덤한 값이다.

추정방법:

 

RSS = 실제 결과값과 추정값 간의 오차

y(n) : n번째 결과 값

x(n1) : n번째 predictor 값

일반화:

** hat이 붙지 않은 값들은 데이터를 통해서 관찰된 값이다.

 

해당 RSS (오차 값)를 최소화 하는 Beta(hat) 값들을 찾게 되고 이는 추정모형의 Beta(hat)이 된다.

절댓값이 아닌 RSS를 사용하는 이유?

1. 절댓값을 컴퓨터가 처리하기 위해서는 하나의 조건문을 만들어야 하기에 연산속도가 느려진다.
2. 값이 다른 부분에 있어서 더 큰 패널티를 주어서 좀 더 적합한 값을 도출 할 수 있다.

True Model은 어떻게 가정할 수 있는가?

위에 이론적인 부분을 통해서 Beta(hat) 값들의 평균이 True Model과 유사하다는 것을 확인했는데, 사실 우리는 현실에서는 실제 Beta 값들, 함수의 형태를 알지 못한다. 그러면 True Model을 가정하에 진행하기 위해서 어떻게 해야 하는가?

 

=> 모델의 불확실성을 고려하야한다.

 

Code 로 알아보기

ML)LinearReg.ipynb

0.27MB