Inferences concerning multiple populations ANOVA

Presentation on theme: "Inferences concerning multiple populations ANOVA"— Presentation transcript:

1 Inferences concerning multiple populations ANOVA
Chapter 10

2 Inferences concerning multiple populations
ANOVA Analysis of variance (분산분석) 가장 유용한 통계적 추정 기법 중 하나 여러 groups (3개 이상)의 means 이 다 같은가? Are the means from several groups all the same? In this chapter, single factor의 영향의 detection을 다룸 One-way ANOVA (일원분산분석)

3 The rationale of ANOVA: an illustration (ANOVA의 원리)
Ex. 나이와 크기가 비슷한 15마리의 비단뱀을 3 groups으로 나눔 Group A: drug A 투약 Group B: drug B 투약 Group C: control group, placebo (위약) 투여 Drugs A와 B가 비단뱀의 심장박동에 영향을 미치는가? Null hypothesis: all 3 populations의 means이 같다 H0: μA = μB = μC 해결 방법??

4 The rationale of ANOVA: an illustration
한가지 해결방법 가능한 모든 조합의 two-sample t-test Group A and B, Group B and C, Group A and C 이 방법은 효과적이지 못하다 10 treatments가 있을 경우 45 조합의 t-test를 해야 함 Test 수가 늘어날수록 type I error rate 가 증가 하나의 test라도 p ≤ 0.05 일 경우 null hypothesis를 reject 해야 함 (45 조합의 t-test 모두가 p > 0.05 경우에만 귀무가설이 accept) Because 하나라도 false 이면 false ANOVA는 이러한 문제점을 극복하기 위해 고안됨

5 The rationale of ANOVA: an illustration
모든 비단뱀 개체들은 하나의 population에서 선택됨 따라서 실험에 사용된 모든 개체들은 다소 homogeneous 하다고 할 수 있다 따라서 하나의 group 내의 개체들 사이의 변이는 모집단 내의 개체들이 보여줄 수 있는 normal variation 이러한 변이를 within-groups variance (집단내 분산) 또는 error variance (오차분산)라 한다 15 마리의 비단뱀을 random 하게 3 groups 으로 나누었으므로 각 group 내의 error variance는 거의 같다고 예측할 수 있다

6 The rationale of ANOVA: an illustration
각 group의 error variance 가 같다 (2.50) 15 measurements를 묶으면 measurements들이 많은 차이를 보이므로 variance가 증가한다 St2 = SS = Σ x2 – (Σx)2/n, SS / n-1 = variance (분산) = s2

7 The rationale of ANOVA: an illustration
ANOVA는 variance (분산)를 여러 구성요소로 나누고 overall variation에 대한 각 구성요소의 기여를 결정하는 것 따라서 먼저 overall variation을 계산 (complete data set을 가지고) Total variance In this case: 이 variation에는 두 가지 sources가 있다 1. 개체들 사이에 원래부터 있는 차이 (환경이나 유전적 차이에 의해 생겨난 차이) Treatment와는 아무 상관이 없음 Within-groups variance (error variance) In this case: 2.50

8 The rationale of ANOVA: an illustration
2. Total variance (19.124)와 error variance (2.50) 사이에 많은 차이가 있다 Variance의 다른 source가 있다는 것을 의미함 이 source가 treatment에 의해 생겨난 variance이다 Total variance와 within-groups variance의 차이를 among-groups variance (treatment variance)라 한다 (집단간 분산;처리분산) In this case: – 2.50 = 이 두 variance의 비 (ratio)를 나타내는 sampling distribution이 F distribution이다 Among-groups variance / within-groups variance

9 The rationale of ANOVA: an illustration
F distribution은 두 종류의 자유도에 의해 좌우되는probability distribution 분자 (among-groups variance)에 관련된 자유도 df1 Number of treatments – 1 (3 – 1 = 2) 분모 (within-groups variance)에 관련된 자유도 df2 Total number of observations – number of groups (15 – 3 = 12) Alpha region의 경계가 되는 F-value Table A. 6

10 The rationale of ANOVA: an illustration
Shaded portion: 0.05 of total

11 The rationale of ANOVA: an illustration
이 두 variance의 비 (ratio): F distribution Among-groups variance / within-groups variance Treatment가 아무런 영향을 미치지 못할 경우 모든 variance가 within-groups variance 따라서 ratio (F value) 값이 작아진다 Treatment가 영향을 미칠 경우 Ratio 값이 커진다

12 The rationale of ANOVA: an illustration
Example Error variance (2.50)와 total variance (2.14)가 거의 같다 따라서 대부분의 variation이 개체들 사이의 변이에서 왔다고 할 수 있다 Treatment는 거의 영향이 없다고 할 수 있다 따라서 groups 사이에 차이가 없다는 귀무가설을 accept 할 수 있다 Drug A와 B는 심장박동에 효과가 없다

13 The assumptions of ANOVA
아래의 가정을 만족하지 못할 경우 분석결과를 신뢰할 수 없다 1. 각 groups은 random sample 2. measured variable은 continuous (discrete variable일 경우 values가 large range) 3. Measurement는 ratio or interval scale 4. 각 groups의 error variances 가 같아야 한다 (homogeneity) 5. variable은 approximately normally distributed (normality) Assumption 1을 만족하지 못할 경우 throw out the data Assumption 2-5를 만족하지 못할 경우 nonparametric method를 사용해야 함

14 Fixed –effects ANOVA (Model I)
Ex. 10.1: 생쥐 (inbred mice) 새끼 30마리를 10마리씩 3 groups으로 나눈 후 3가지 다른 먹이를 줌 몇 주 후 각 생쥐의 체중 증가를 측정함 Group 1: 일반적인 생쥐 먹이 (control; 대조군) Group 2: junk food (potato chip, twinkles, and cola) Group 3: healthy food diet Diet 종류에 따라 체중증가가 유의하게 차이가 있는가?

15 Fixed –effects ANOVA (Model I)
Null hypothesis H0: μ1 = μ2 = μ3 Alternative hypothesis Ha: all μ가 같지는 않다 이러한 type의 experiment를 fixed-effects ANOVA (model I)이라 한다 Fixed-effect 실험에 사용된 treatments가 연구자에 의해 선택되었다는 의미 Cf. random effect (음식물 일반이 체중에 영향을 미치는가?) One-way ANOVA with fixed effects Data set 들이 하나의 기준으로 나누어짐 (one-way) In this case: diet

16 Fixed –effects ANOVA (Model I)
이와 같은 실험 design 시 고려해야 할 사항들 1. error variance (treatment와 상관 없는) 를 최소화 함 거의 같은 experimental units를 사용함 2. experimental units을 groups으로 나눌 때 random 하게 나눔 개체간의 variation이 groups들 사이에 차이가 없어야 함 Error variance가 모든 groups에서 같아야 함 (homogeneity) 3. 모든 groups을 treatments 이외의 조건을 동일하게 처리해야 함 온도, 습도 등 위의 사항들이 고려되어야 체중 증가의 차이가 다른 요인이 아닌 diet에 의해서만 나타났다고 신뢰할 수 있다

17 Testing the null hypothesis that all treatment means are equal (ANOVA 가설 검정)
ANOVA의 null hypothesis All of the treatment means are equal H0: μ1 = μ2 = μ3….= μn Ex. 10.1로 F value를 계산 (각 groups의 sample size가 같음) Calculation steps 1. 각 group의 합(Σx)과 총 합 (grand total; ΣΣx)을 계산 2. 각 group observation의 제곱의 합 (Σx2)과 total (ΣΣx2)을 계산

18 Testing the null hypothesis that all treatment means are equal
3. 각 group의 합을 제곱한 후 n (각 group의 sample 수)으로 나눔 ((Σx)2/n), 그리고 모든 groups 의 값을 합함 4. grand total 을 제곱한 후 total number로 나눔 ((ΣΣx)2/total n) Correction term (보정항)이라 부름 5. Total sum of squares (step2 – step4) ΣΣx2 - (ΣΣx)2/total n (correction term) 6. Sum of squares among group (step3 – step4) Σ((Σx)2/n) - (ΣΣx)2/total n 7. Sum of squares within group (step5 – step6) SStotal - SSAmong

19 The sum of squares

20 The sum of squares (2 -4) (3 -4) (5 -6)

21 Mean squares (variance in ANOVA)
ANOVA에서는 variance를 mean square (MS)라 부름 Sum of square를 degree of freedom (자유도)으로 나누면 mean square Among groups 의 자유도 (dfa) Number of groups – 1 (a – 1) Total degree of freedom (dft) an (total observations) – 1 Within groups의 자유도 (dfw) dft – dfa F (variance ratio) among-groups mean square / within-group mean square

22 ANOVA table

23 Critical value of the F distribution
In Table A.6 Top row: 분자의 자유도 (among-groups mean square의 자유도) Left column: 분모의 자유도 (within-groups mean square의 자유도) In this case: 자유도는 2와 27 2와 27이 없으므로 2와 25의 값을 선택: 3.39 2와 30이 아님 (3.32; 더 conservative한 값을 선택 해야 함) 계산된 F value 가 critical F value와 같거나 클 경우 Null hypothesis를 reject Calculated F value (41.81)이 critical F value보다 훨씬 큼 따라서 귀무가설을 reject 3 treatments의 평균값이 다 같지는 않음 (적어도 하나의 treatment mean이 다른 mean 과 같지 않음)

24 ANOVA results from computer software

25 Multiple comparisons (다중비교)
유의한 차이가 있다면 어디에서 차이가 나는가? 사후검정 (Post-hoc analysis)가 필요함 Ex. Group 1과 group 2, or group 1과 group 3, or group 2와 group 3 사이 ?? Multiple comparisons test를 통해 알 수 있다 실험 전에 비교할 groups를 미리 정해놓은 경우 Planned comparison 실험 전에 비교할 groups를 미리 정해놓지 않고 가능한 모든 pairs 의 means 을 다 비교할 경우 Unplanned comparisons In this chapter, unplanned comparisons 인 Tukey test를 다룸

26 Multiple comparisons 두 값 사이의 차이가 유의하기 위한 최소한의 차이 Critical value (CV)
MSe: error mean square (error variance) n: 각 sample (group)의 sample size q: studentized t range value (table A.7) Top row: number of groups (a) Left column: error degree of freedom In ex. 10.1, null hypothesis was rejected (diet exp.) Error mean square: with 27 df Sample size for all three treatments: 10

27 Multiple comparisons 자유도 27이 없으므로 다음으로 낮은 값인 자유도 24의 값을 취함
q = 3.53 자유도 30의 q (3.49)를 사용할 수 없음: 더 많은 차이를 필요로 하는 더 conservative한 값을 취함 CV = 3.53 (√0.789/10) = 각 비교 쌍의 차이의 절대값을 구함 Control – junk food: – = 1.93 Control – Healthy food: – 8.58 = 1.70 Junk food – Healthy food: – 8.58 = 3.67 모든 비교 pairs 의 차이가 CV보다 큼 결론: 0.05 수준에서 모든 treatments means들 사이에 유의하게 차이가 있음 (healthy food: better, junk food: worse)

28 Exercise Ex. 15개체 담배 식물체 (크기나 유전적 특성 동일)를 5개체씩 3groups으로 random하게 나눈 후
한 group은 아무 처리도 하지 않음 (control) 한 group은 tobacco mosaic virus (TMV)로 infected 한 group은 tobacco ringspot virus (TRSV)로 infected 일주일 후 odiphenol oxidase activity를 측정 Either virus infection이 이 enzyme의 activity에 영향을 미치는가? 영향에 있다면 영향을 주는 virus는? Appropriate test? Null hypothesis? Conclusion?

29 Exercise Enzyme activity (μl O2/mg protein/min) Control TMV-infected
TRSV-infected 1.47 2.44 2.87 1.62 2.31 3.05 1.06 1.98 2.36 0.89 2.76 3.21 1.67 2.39 3.00

30 Exercise Enzyme activity (μl O2/mg protein/min) Control TMV-infected
TRSV-infected 1.47 2.44 2.87 1.62 2.31 3.05 1.06 1.98 2.36 0.89 2.76 3.21 1.67 2.39 3.00 Fixed-effect ANOVA; Tukey test H0: all μ are equal Ha: one or more μ are different

31 Exercise Fixed-effect ANOVA; Tukey test H0: all μ are equal
Control TMV-infected TRSV-infected 1.47 2.44 2.87 1.62 2.31 3.05 1.06 1.98 2.36 0.89 2.76 3.21 1.67 2.39 3.00 Exercise Fixed-effect ANOVA; Tukey test H0: all μ are equal Ha: one or more μ are different (Σx)control: 6.71, (Σx)TMV: 11.88, (Σx)TRSV: 14.49 Grand total (ΣΣx): 33.08 Correction term: (33.08)2/15 = /15 = ΣΣx2 = SSTotal = = SSamong = (6.712/ / /5) – = – = SSwithin = SSTotal - SSamong = – =

32 Exercise ANOVA table F2,12(0.05) = 3.89 Thus, 귀무가설 reject
Enzyme activity가 virus infection에 영향을 받는다 어디에서 유의한 차이가 나타나는가? Multiple comparison test: Tukey test Source SS df MS F Among-groups 6.2713 3-1 = 2 3.1356 30.87 Within-groups 1.2191 14–2 = 12 0.1016 Total 7.4904 15–1 = 14

33 Exercise Means q (Studentized t) = 3.77 (groups 수 = 3; dferror = 12)
Control: 1.342 TMV-infected: 2.376 TRSV-infected: 2.898 q (Studentized t) = 3.77 (groups 수 = 3; dferror = 12) CV = 3.77 √0.1016/5 = Control - TMV-infected: – = 1.034 Control - TRSV-infected: – = 1.556 따라서 TMV, TRSV 모두 enzyme activity를 증가시킨다 Virus 사이의 차이는? 2.898 – = (No!)

34 Fixed-effects ANOVA using survey data
ANOVA에서 treatments가 experiments에서의 인위적 처리가 되어야 할 필요는 없다 서로 다른 모집단 사이에 있는 다른 요인들도 treatments가 될 수 있다 Ex. 10.2: 3개의 작은 호수와 3개의 작은 하천에서 채집된 피라미의 길이 (20 random samples in each location) 피라미 길이가 지역에 따라 차이가 있는가? 서식지 (treatment)가 random하게 선택된 것이 아니라 연구자에 의해 선택되었으므로: fixed-effects model 이 경우 treatment라는 용어가 그의 일반적인 의미를 가지지는 않음 (그러나 treatment라는 용어를 사용) Because 아무 것도 인위적으로 처리된 것이 없으므로 이 경우는 manipulative experiment로부터의 data가 아니라 survey data (조사자료)를 이용한다

35 Fixed-effects ANOVA using survey data

36 Fixed-effects ANOVA using survey data
계산 방법은 experimental data를 이용할 때와 동일함 결과의 해석은 다름 ANOVA의 결과가 차이를 보일 경우에도 서식지 차이에 의해 피라미 길이의 결정되었다고 결론 내리기가 쉽지 않다 Because 피라미 개체들이 각 서식지에 random하게 할당되지 않았기 때문에 (그것들은 원래부터 그곳에 있었음) 서식지 사이의 차이를 인지할 수 는 있으나, 서식지가 차이의 원인이라는 결론을 내릴 수는 없다 (Ex 처럼) Ex 10.1에서는 diets가 체중증가의 원인이라고 결론 내릴 수 있었다 특정 환경요인 (ex. 수온, 유속 등)이 피라미의 차이와 일치할 때 이들이 상관되어 있다고 할 수 있으나 이를 증명하기 위해 manipulative experiment가 필요함

37 ANOVA results 서식지에 따라 피라미의 길이에 차이가 있음
Multiple comparisons test에 의해 호수 group과 하천 group 으로 나누어질 것으로 추정됨 (confidence intervals 이 겹치지 않음)

38 Homework 위의 자료 (ex. 10.2)를 이용하여 one-way ANOVA를 수행할 것.
Both by hand and using computer software Tukey test를 수행할 것 다음 시간까지 (11/20)

39 One-way ANOVA design with random effects
연구자에 의해 treatments (diet, habitats)가 선택되었으므로 ex. 10.1과 10.2는 fixed-effects model (model I ANOVA) 결과를 일반화할 수 없음 다른 종류의 diets나 habitats에 적용할 수 없음 검정한 diets와 3호수와 3 하천의 피라미에 만 적용됨 다른 하천이나 호수의 경우는 알 수 없음 질문이 “Diet가 체중변화에 중요한 요인인가?” 일 경우 Fixed-effects model에서는 ‘어떤 특정 diets가 체중변화에 영향을 미치는가?’ 임. ‘Diets 일반이 체중변화에 영향을 주는가?’ 라는 질문

40 One-way ANOVA design with random effects
질문이 “Diet가 체중변화에 중요한 요인인가?” 일 경우 가능한 여러 diets 종류 중에서 몇몇 diets를 random하게 선택한 후 ANOVA를 수행 이 경우 treatments (diets)가 연구자에 의해 fixed된 것이 아니라 population으로부터 random하게 선택된 것 Random-effects (model II) ANOVA라 함 Random-effects ANOVA의 경우, Null hypothesis가 reject되더라도 multiple comparisons test를 수행하지 않는다 Diets의 체중증가에 대한 일반적인 영향을 알고자 하는 것임 특정 diets 사이의 차이를 알고자 하는 것이 아님

41 One-way ANOVA with unequal sample sizes -산토끼 (4마리)에서 발견된 진드기의 크기 -host에 따라서 진드기의 크기에 차이가 있는가?
Hosts (a = 4) a b c d 380 350 354 376 356 360 344 358 362 342 368 366 372 338 374 382 364 351 348 352

42 Preliminary computations
Σx: N: Σx2: Calculation steps 1. 총 합 (grand total; ΣΣx): = 13,309 2. 각 group observation의 제곱의 합 (Σx2)과 total (ΣΣx2)을 계산: = 4,792,869

43 Computations 3. 각 group의 합을 제곱한 후 n (각 group의 sample 수)으로 나눔 ((Σx)2/n), 그리고 모든 groups 의 값을 합함: (2978)2/8 + (3544)2/10 + (4619)2/13 + (2168)2/6 = 4,789,091 4. grand total 을 제곱한 후 total number로 나눔 ((ΣΣx)2/total n): (13309)2/37 = 4,787,283.3 (Correction term;보정항) 5. Total sum of squares (step2 – step4) ΣΣx2 - (ΣΣx)2/total n (correction term) 4,792, ,787,283.3 = 6. Sum of squares among group (step3 – step4) Σ((Σx)2/n) - (ΣΣx)2/total n 4,789, ,787,283.3 = 7. Sum of squares within group (step5 – step6) SStotal - SSAmong = 3778

44 Computations Source SS df MS F Among-groups 1807.7 4-1 = 3 602.6 5.26
Source SS df MS F Among-groups 1807.7 4-1 = 3 602.6 5.26 Within-groups 3778.0 36–3 = 33 114.5 Total 5585.7 37–1 = 36

45 Multiple comparisons Critical value (CV)
MSe: error mean square (error variance) n: 각 sample (group)의 sample size q: studentized t range value (table A.7): 3.85 (error df = 33) Error mean square: 114.5 Sample sizes for 4 treatments: 8, 10, 13, 6 CV? CV = 3.85 √114.5*[(1/8 + 1/10 + 1/13 + 1/6)/4] = 14.1 Means: a = 372.3, b = 354.4, c = 355.3, d = 361.3 a 와 b, a 와 c가 유의한 차이를 보임

46 Testing the Assumptions of ANOVA (ANOVA 가정의 검정)
아래의 가정을 만족하지 못할 경우 분석결과를 신뢰할 수 없다 1. 각 groups은 random sample 2. measured variable은 continuous (discrete variable일 경우 values가 large range) 3. Measurement는 ratio or interval scale 4. 각 groups의 error variances 가 같아야 한다 (homogeneity) 5. variable은 approximately normally distributed (normality) Assumption 1을 만족하지 못할 경우 throw out the data Assumption 2-5를 만족하지 못할 경우 nonparametric method를 사용해야 함

47 Testing the Assumptions of ANOVA
Error: unexplained noise Treatments로 설명되지 않는 부분 Residuals (오차)라고도 불림 이들 error (residual)의 variance Within-groups variance (error variance): 오차 분산 개체들이 각 treatment groups에 random하게 배당될 경우 within-groups variance가 각 groups에서 동일할 것이다 Homogeneity of within-groups variance Ex. 10.1의 경우 모든 개체들이 inbred mice이므로 homogeneity of error variance에 문제가 없음 Ex.10.2의 경우 피라미 개체들이 각 서식지에 random하게 배당된 것이 아니므로 six populations의 error variance가 동일하다고 단정하기 힘들다

48 Testing the Assumptions of ANOVA
일반적으로 ANOVA를 사용할 경우 두 assumptions을 check 함 Normality and homogeneity of (error) variance Normality check: chapter 6에서 graphic technique을 이용하여 normality를 check하는 방법을 다루었음 Goodness-of-fit test (Anderson-Darling test): computer grogram을 이용 p-value = 0.491: normal distribution을 한다는 귀무가설을 reject 할 수 없다

49 Testing the Assumptions of ANOVA
Ex. 10.2의 homogeneity of error variance를 두 통계분석 (Bartlett’s test와 Levine’s test)을 이용하여 check Table 10.9에서 sample variance가 groups 들 사이에 차이를 나타내는 것으로 보이지만 p-value가 0.515, 이므로 error variance가 같다는 귀무가설을 reject할 수 없다

50 Testing the Assumptions of ANOVA
Normality의 가정은 만족되지 못하더라도 sample size가 클 경우 심각한 문제가 아님 ANOVA는 homogeneity of variance의 가정에 매우 sensitive하며, 이 가정이 만족되지 못할 경우 ANOVA의 결론을 신뢰할 수 없다 Why? Treatments 이전부터 차이가 있었다고 볼 수 있다

51 Remedies for failed assumptions (해결책)
Normality나 equal variance 가정이 만족되지 못할 경우 Mathematical transformation으로 해결할 수 있다 Transformed data도 가정을 만족하지 못할 경우 Nonparametric test를 사용해야 한다 Ordinal scale로 측정된 경우도 nonparametric test를 사용 Nonparametric test for the one-way ANOVA design Kruskal-Wallis test

52 Transformations in ANOVA
Original data: x Transformed data: x´ (prime) Logarithmic transformation ANOVA나 linear regression에서 error variance가 동일하지 않을 경우 주로 사용 x´ = log(x) Natural log (ln) or 10-base log 둘 다 이용됨 Data에 0이 있을 경우: transformation 전에 모든 observations에 같은 값을 더해 준 후 transformation, log(0)은 없으므로 Ex. x´ = log(x + 1)

53 Transformations in ANOVA
Square-root transformation Data가 정수로 된 경우 Square-root transformation이 normality나 homogeneity of variance를 향상시켜 준다 x’ = √x Arcsine transformation Percentages 나 proportion (비율) 등은 normal distribution을 하지 않을 경우가 많다 Percentage: 1 – 100; proportion: 0 – 1 Arcsine transformation으로 주로 해결 For proportion: x’ = arcsine x For percentages: x’ = arcsine(x/100) Transformation 후 다시 assumptions을 check해야 함

54 Nonparametric alternative to one-way ANOVA: Kruskal-Wallis test
Ex the Kruskal-Wallis test 메뚜기의 먹이 섭취시간 10마리씩이 4 treatments (conditions)에 random하게 배당됨

55 Nonparametric alternative to one-way ANOVA: Kruskal-Wallis test
Parametric assumptions을 만족하지 못함 1. Variable이 normal distribution을 하지 않음 2. within-groups variance가 동일하지않음 따라서 Kruskal-Wallis test를 사용 계산 순서 모든 groups의 모든 observations의 순위를 매김 Ranked data와 sum of ranks를 구함

56 Nonparametric alternative to one-way ANOVA: Kruskal-Wallis test
Kruskal-Wallis test의 test statistic: H

57 Nonparametric alternative to one-way ANOVA: Kruskal-Wallis test
H = 12/40(40 + 1){(162.5)2/10 + (208.5)2/10 + (316.5)2/10 + (132.5)2/10} – 3(40 +1) = H: chi-square distribution (Table A.3) 자유도: number of groups – 1 = 4 – 1 = 3 Critical value of chi-square distribution: Table A.3 Critical value (df=3): 7.81 Calculated H value가 critical H value보다 큼 0.001 < p < 0.01 따라서 4 groups이 같은 값을 가진다는 귀무가설을 reject

58 Kruskal-Wallis test statistical software result