Model representation Linear regression with one variable Machine Learning

집 가격 (Portland, OR) 가격 (in 1000s of dollars) 크기 (feet2) 감독학습(Supervised Learning) 자료의 “정확한 답＂이 각 예들에 대해 주어진 회귀문제(Regression Problem) 실수-값을 갖는 출력을 예측

집 가격의 훈련 집합 (Portland, OR) Size in feet2 (x) Price ($) in 1000's (y) 2104 460 1416 232 1534 315 852 178 … 기호: m = 훈련자료의 갯수 x’s = “입력” 변수 / 특징(features) y’s = “출력” 변수 / “목적(target)” 변수

훈련자료집합 학습 알고리즘 h 우리는 h 를 어떻게 표현하는가? 추정 가격 집 크기 변수가 하나인 선형회귀. 단변량 선형회귀 (Univariate linear regression)

Linear regression with one variable Cost function Machine Learning

‘s : 파라메타(Parameters) 는 어떻게 선택하는가 ? 훈련자료 가설(Hypothesis): Size in feet2 (x) Price ($) in 1000's (y) 2104 460 1416 232 1534 315 852 178 … 가설(Hypothesis): ‘s : 파라메타(Parameters) 는 어떻게 선택하는가 ?

y x 생각: 이 우리의 훈련자료 에 대한 에 가깝도록 를 선택한다.

Cost function intuition I Linear regression with one variable Cost function intuition I Machine Learning

간략화 가설: 파라메타: 비용함수 : 목적:

(고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 ) y x

(고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 ) y x

(고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 ) y x

Cost function intuition II Linear regression with one variable Cost function intuition II Machine Learning

Hypothesis(가설): 파라메타: 비용함수: 목적:

(고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 ) Price ($) in 1000’s Size in feet2 (x)

(고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 )

(고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 )

(고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 )

(고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 )

Linear regression with one variable Gradient descent Machine Learning

어떤 함수 를 가지고 를 원한다 Outline: 어떤 로 시작한다. 최소값에 도달할 때까지, 가 감소하도록 를 계속 변화시킨다

J(0,1) 1 0

J(0,1) 1 0

Gradient descent algorithm Correct: Simultaneous update Incorrect:

Gradient descent intuition Linear regression with one variable Gradient descent intuition Machine Learning

경사하강(Gradient descent) algorithm

α 가 너무 작으면, 경사하강이 느릴 수 있다. α 가 너무 크면, 경사하강은 최소점을 지나칠 수 있다. 수렴에 실패하거나, 심지어는 발산할 수 있다.

at local optima Current value of

경사하강은 학습률 α 가 고정된 상태로도, 국지적 최소점으로 수렴할 수 있다. 우리가 국지적 최소값에 접근함에 따라서, 경사하강은 자동적으로 더 작은 단계를 취한다. 따라서, 시간에 따라서 α 를 줄일 필요가 없다.

Gradient descent for linear regression Linear regression with one variable Gradient descent for linear regression Machine Learning

Gradient descent algorithm Linear Regression Model

Gradient descent algorithm 과 를 동시에 갱신

J(0,1) 1 0

(for fixed , this is a function of x) (function of the parameters )

(for fixed , this is a function of x) (function of the parameters )

(for fixed , this is a function of x) (function of the parameters )

(for fixed , this is a function of x) (function of the parameters )

(for fixed , this is a function of x) (function of the parameters )

(for fixed , this is a function of x) (function of the parameters )

(for fixed , this is a function of x) (function of the parameters )

(for fixed , this is a function of x) (function of the parameters )

(for fixed , this is a function of x) (function of the parameters )

“Batch”: 경사강하의 각 단계마다 모든 훈련자료를 사용한다.