Model representation Linear regression with one variable

Presentation on theme: "Model representation Linear regression with one variable"— Presentation transcript:

1 Model representation Linear regression with one variable
Machine Learning

2 집 가격 (Portland, OR) 가격 (in 1000s of dollars) 크기 (feet2)
감독학습(Supervised Learning) 자료의 “정확한 답＂이 각 예들에 대해 주어진 회귀문제(Regression Problem) 실수-값을 갖는 출력을 예측

3 집 가격의 훈련 집합 (Portland, OR)
Size in feet2 (x) Price ($) in 1000's (y) 2104 460 1416 232 1534 315 852 178 … 기호: m = 훈련자료의 갯수 x’s = “입력” 변수 / 특징(features) y’s = “출력” 변수 / “목적(target)” 변수

4 훈련자료집합 학습 알고리즘 h 우리는 h 를 어떻게 표현하는가? 추정 가격 집 크기 변수가 하나인 선형회귀.
단변량 선형회귀 (Univariate linear regression)

5 Linear regression with one variable
Cost function Machine Learning

6 ‘s : 파라메타(Parameters) 는 어떻게 선택하는가 ? 훈련자료 가설(Hypothesis):
Size in feet2 (x) Price ($) in 1000's (y) 2104 460 1416 232 1534 315 852 178 … 가설(Hypothesis): ‘s : 파라메타(Parameters) 는 어떻게 선택하는가 ?

7

8 y x 생각: 이 우리의 훈련자료 에 대한 에 가깝도록 를 선택한다.

9 Cost function intuition I
Linear regression with one variable Cost function intuition I Machine Learning

10 간략화 가설: 파라메타: 비용함수 : 목적:

11 (고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 ) y x

12 (고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 ) y x

13 (고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 ) y x

14 Cost function intuition II
Linear regression with one variable Cost function intuition II Machine Learning

15 Hypothesis(가설): 파라메타: 비용함수: 목적:

16 (고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 ) Price ($) in 1000’s Size in feet2 (x)

17

18 (고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 )

19 (고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 )

20 (고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 )

21 (고정된 에 대하여, 이것은 x의 함수) (파라메타 의 함수 )

22 Linear regression with one variable
Gradient descent Machine Learning

23 어떤 함수 를 가지고 를 원한다 Outline: 어떤 로 시작한다. 최소값에 도달할 때까지, 가 감소하도록 를 계속 변화시킨다

24 J(0,1) 1 0

25 J(0,1) 1 0

26 Gradient descent algorithm
Correct: Simultaneous update Incorrect:

27 Gradient descent intuition
Linear regression with one variable Gradient descent intuition Machine Learning

28 경사하강(Gradient descent) algorithm

29

30 α 가 너무 작으면, 경사하강이 느릴 수 있다. α 가 너무 크면, 경사하강은 최소점을 지나칠 수 있다. 수렴에 실패하거나, 심지어는 발산할 수 있다.

31 at local optima Current value of

32 경사하강은 학습률 α 가 고정된 상태로도, 국지적 최소점으로 수렴할 수 있다.
우리가 국지적 최소값에 접근함에 따라서, 경사하강은 자동적으로 더 작은 단계를 취한다. 따라서, 시간에 따라서 α 를 줄일 필요가 없다.

33 Gradient descent for linear regression
Linear regression with one variable Gradient descent for linear regression Machine Learning

34 Gradient descent algorithm
Linear Regression Model

35

36 Gradient descent algorithm
과 를 동시에 갱신

37 J(0,1) 1 0

38

39 (for fixed , this is a function of x)
(function of the parameters )

40 (for fixed , this is a function of x)
(function of the parameters )

41 (for fixed , this is a function of x)
(function of the parameters )

42 (for fixed , this is a function of x)
(function of the parameters )

43 (for fixed , this is a function of x)
(function of the parameters )

44 (for fixed , this is a function of x)
(function of the parameters )

45 (for fixed , this is a function of x)
(function of the parameters )

46 (for fixed , this is a function of x)
(function of the parameters )

47 (for fixed , this is a function of x)
(function of the parameters )

48 “Batch”: 경사강하의 각 단계마다 모든 훈련자료를 사용한다.