10.1 Linear Models

이하는 타겟이 리니어 구조를 따른다고 생각될 때 사용한다. notation은 이하를 따른다.

\[ \hat y (w,x) = w_0 + w_1 x_1 + \cdots w_p x_p = w_0 + wx \]

10.1.1 Ordinary Least Squares

LinearRegression() 함수는 coef \(w\) 와 함께 리니어 모델을 추정함. 이때 추정 기준은 coef 조합을 통한, 모델에서의 추정치와 실제값의 차이인, residual sum of squares (이하 RSS) 의 최소화. 이는 이하의 문제를 풀이하는 것과 같음.

\[ \min_w \| Xw - y\|^2_2 \]

>>> from sklearn import linear_model
>>> reg = linear_model.LinearRegression()
>>> reg.fit([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
LinearRegression()
>>> reg.coef_
array([0.5, 0.5])