제4장 측정과 척도 (Measurement and scale)

제1절 측정의 개념 측정(measurement)이란 어떤 상태, 특성, 태도, 행동 등의 이론적 개념을 개량화(quantifying)하는 과정을 말한다. 다르게 말하면 연구자가 관심을 가지고 있는 현상이나 대상, 개념에 대하여 일정한 규칙에 따라 숫자(numerals or numbers)를 할당(assignment)하는 과정이라 할 수 있다(Kelinger, 1973 : 427). 우울증 및 불안감의 정도, 자아존중감, 일반적인 삶의 만족도, 소속감, 사회적 기능 수준 등을 개량화하여 측정할 수 있다.

1. 측정 대상 측정대상의 조작화 과정 첫째, 사람들의 몸무게 혹은 눈동자 색깔 등과 같이 직접적인 관찰이 가능한 것은 측정이 용이하다. 그러나 이타심, 친밀도 등과 같이 직접적인 관찰이 쉽지 않은 추상적 개념은 이러한 개념들이 무엇을 의미하는 지를 분명하게 확정하는 개념화(conceptualization)작업과 이렇게 확정된 개념들을 실제 측정할 수 있도록 조작화(operationalization)하는 작업들이 선결되어야 한다(Babbie, 1995 :112-121). 둘째, 측정의 가장 기본적인 작업은 연구자 자신이 관심이 있는 대상에 대하여 숫자를 할당하는 것이다.

사례 ***100명의 대상생들의 학력을 측정하기 위한 방법 *연구대상 : 100명의 학생(집합론-set theory) *학력의 정도 : 자신의 속성(attributes) 1-4까지의 숫자 할당 **100명의 대학생으로 이루어진 하나의 집합과 1-4의 학력정도로 이루어진 다른 하나의 집합은 측정과정을 통하여 서로 정확히 대응되는 사상(mapping)과정을 거친다. **이처럼 하나의 집합요소들을 다른 집합의 속성으로 정확히 할당하는 것이 바로 측정이다.

2. 측정의 역할과 중요성 'If you cannot measure the client's problem, it does not exist. .....If you cannot measure the client's problem, you cannot treat it."(Hudson, 1978:65). (Mark, 1996: 272-273)

*첫째, 측정은 이론적·관념적인 세계와 구체적·경험적인 세계를 연결하는 역할을 한다. *둘째, 측정은 추상적이고 주관적인 개념들을 객관화하여 표준화하는 역할을 한다. *셋째, 측정은 사회조사과정에서 자료를 수집하고 조직화하는 가장 기본적인 단계로써 후속연구나 관련 연구를 가능하게 하는 필수적인 작업이다. 개념을 측정할 수 없다면 이론을 객관적으로 검증할 수 있는 방법은 존재할 수 없을 것이다. *넷째, 측정은 연구자들로 하여금 특정의 연구에 대한 반복실험을 가능하게 하고 연구과정 및 결과를 둘러싼 의사소통을 가능하게 하는 기능을 한다.

제2절 측정의 수준/등급 1. 측정의 수준(level of measurement) 측정이란 측정하고자 하는 대상이 가진 속성(attributes)에 따라 규칙적으로 숫자(numerals)를 할당하는 것이다. 그런데 숫자를 할당하는 과정에서 측정대상이 가진 속성에 따라 측정수준(level of measurement)이 달라지는데, 일반적으로 사회과학에서는 4단계의 측정수준이 있다(Stevens, 1946) 1) 명목측정(nominal measurement) 2) 서열측정(ordinal measurement) 3) 등간측정(interval measurement) 4) 비율측정(ratio measurement)

1) 명목측정 (nominal measurement) 속성에 따라 측정대상에 할당되는 숫자(numerals)가 엄밀한 의미에서 볼 때 전혀 계량적(quantitative)속성을 가지고 있지 않은 경우이다. 측정대상에게 할당된 숫자는 단지 측정대상들을 상이한 범주로 구별하기 위한 목적으로 부여된 것이다. 예) 성별, 계절, 결혼 유무, 종교, 종합대학교를 구별하기 위한 symbols 등. 남성 : 1 여성 : 2 이 경우에 1 +1 = 2와 같은 수학적 연산은 전혀 의미를 가질 수 없다. 명목측정은 4단계로 나누어진 측정수준 가운데 가장 낮은 수준의 측정이다. ***명목측정의 척도로는 측정된 변수에 대해서 가능한 통계처리 *빈도분석(frequency) *최빈치(mode) *백분율(percentage) 등의 몇 가지 기술적 분석(descriptive analysis)

2) 서열측정 (ordinal measurement) 측정을 위하여 대상에 할당된 범주들 사이에 일정한 서열(order)이 존재하는 측정을 의미한다. 성인남녀의 학력을 상, 중, 하라는 세 가지 범주를 사용하여 측정하는 경우 이들 범주는 학력정도와 관련하여 일정한 서열 등급(ordinal rank)을 표현한다. ‘노인부양을 누가 책임져야 하는지’에 대한 설문조사를 행한다고 가정하자. 다음의 주어진 주체들 가운데 가장 부양책임이 크다고 생각되는 주체부터 차례대로 선택하시오 응답자가 본인, 아들, 딸, 국가, 사회, 종교단체의 순으로 표시할 경우 하나의 서열측정에 해당한다. 할당되는 범주들 사이에는 서열적 순서만 존재할 뿐 그 이상의 수학적 조작은 가능하지 않다.

응답자의 순서에 따라 1,2,3,4,5,6의 아라비아 숫자를 할당하였다고 가정 할때, 첫 번째, 두 번째, 세 번째와 같은 서열만을 의미하는 서수사(ordinal number)이지 엄밀한 수학적 의미를 가질 수 있는 기수사(cardinal number)는 아닌 것이다. 따라서 이 경우 부여된 숫자를 이용하여 (5-3) = (3-1)과 같은 수학적 연산을 하더라도 이는 전혀 의미가 없다. ***어떤 대상에 대한 선호도, 학력(초등·중등·고등·대학), 장애 정도, 정치 성향(보수·중도·진보), 생활 수준( 상·중·하)등이 서열변수에 해당된다. ***서열척도로 측정된 값들은 빈도분석(frequency), 최빈치(mode) 백분율(percentage)에 더하여 서열적 특성에 의해 가능한 통계치인 중앙값(median) 등을 추가적으로 계산할 수 있다.

3) 등간측정 (interval measurement) 서열적인 순서에 더하여 그 순서 사이의 간격이 일정한 크기로 동일하다. 대표적인 사례로 온도, 지능지수(IQ), 대학 학년, 인성검사(MMPI) 점수 등이 등간변수에 해당한다. 수학적으로는 (50도-40도)=(20도-10도)라는 수학적 등식이나 (50도 +10도) = (40도 + 20도)라는 등식은 둘 다 수학적인 의미를 가진다.

그러나 곱하기와 나누기는 불가능하다. 곱과 나누기가 가능하기 위해서는 측정값이 절대적 혹은 자연적 영점(absolute or natural zero point)를 가져야 하는데, 등간척도에서 사용되고 있는 영점은 임의적 영점(arbitrary zero point)이기 때문이다. 온도의 0도와 지능지수의 0점은 절대적 의미의 영이 아니라 연구자들이 자의적으로 결정한 수준의 지능을 의미한다. 등간척도에서 가능한 통계적 처리는 명목측정과 서열측정에서 가능했던 내용들에다 각종의 산술평균 및 기타 수학적 연산들이 추가적으로 가능하다.

4) 비율측정 (ratio measurement) 측정 중 가장 높은 수준의 등급으로 등간측정의 모든 특성에 절대 영(zero)값이 추가된다. 예를 들면, 무게, 소득, 자녀 수, 자동자 보유 대수, 통근 거리, 거주 기간, 근무 경력, 특정 행동의 발생 빈도 등이 비율변수에 해당한다.

측정수준의 특성비교 명목측정 서열측정 등간측정 비율측정 범주 순위 동일간격 절대영점 측정 수학연산 O 분류 해당 안됨 순서비교 간격비교 덧셈, 뺄셈 비율측정 절대량비교 덧셈, 뺄셈, 곱셈, 나눗셈

제2절 측정수준과 측정오차 1) 측정오차(measurement error) 일반적으로 측정과정에는 많은 측정오차가 발생한다. 측정오차란 연구자가 측정하고자 하는 측정대상의 진정한 값(true score)과 실제 측정도구를 사용하여 얻어진 측정값과의 차이를 의미하는 것으로 다름과 같은 공식으로 표현될 수 있다(Mark, 1996: 285). 측정값 혹은 관찰값(observed score) = 참값(true score) +오차(error) 즉, 자료의 수집방법과 수집과정을 통해서 개입되는 어떤 유형화된 오류를 말한다. 특정 결과로 얻은 자료가 한쪽으로 치우치거나 변수 간의 관계가 지나치게 높거나 낮으면 체계적 오류가 존재함을 의심해야 한다.

측정오류는 체계적 오류(systematic error)와 비체계적 오류 또는 무작위 오류(non-systematic or random error)로 구분된다. 체계적 오류는 우연하게 작용하는 것이 아니라 체계적으로 작용하는 요인에 의하여 일정한 방향과 크기로 측정값에 영향을 미치는 오류를 말한다. systematic error는 주로 측정대상이나 연구자의 사회경제적 특성이나 성향과 많은 연관이 있다.

예를 들어 중산층이 사용하는 용어로 구성된 지능검사도구는 측정대상이 중산층인가 저소득층인가에 따라 일정하게 체계적인 방향으로 측정오차를 야기할 것이고, 한국의 부모-자식간 친밀도 검사 도구를 사용하는 경우 한국 부모-자식간 친밀도의 진정한 값은 미국과 한국의 문화차이라는 요인에 의해 일정한 측정오차를 포함한 채 측정될 것이다.

*고정반응(response set): 우울증을 측정하는 척도에서 일정한 유형의 설문 항목이 계속될 때 응답자는 극단적인 값을 피하고 중도 값(예 : ‘그저 그렇다’)를 택하려는 경향이 있다. 또는 앞의 설문 항목에서 응답한 값(예 : ‘그렇다’ 또는 ‘동의함’을 후속 항목에도 계속 동일하게 응답하는 경우를 말한다.

*사회적 적절성(social desirability bias) : 조사자의 의도에 맞추거나 그 사회의 가치기준에 부합하는 것을 택하려는 경향을 말한다. 예를 들면 청소년의 흡연 실태나 일반 마약에 대한 태도를 조사할 때, 자신의 경험 유무에 대한 솔직한 응답보다는 그 사회가 원하는 가치에 준하는 대로 응답할 가능성이 있다.

*문화적 차이(cultural gap bias) : 측정과정에서 문화적 차이나 인구사회학적 차이가 개입하여 발생하는 오류를 말한다. 다민족 사회인 미국 사회에서는 주류 백인들을 위해 개발한 측정도구를 소수민족(예: 흑인 또는 남미계 민족)에게 적용할 때 매우 신중해야 한다.

무작위 오류 는 연속되는 여러 번의 측정에도 일정하게 영향을 미치는 체계적 오류와 달리 여러 번에 걸쳐 반복적으로 측정하게 되면 그 과정에서 서로 상쇄되어 소멸하는 오류이다. 그러므로 무작위 오류를 포함한 측정은 측정 횟수를 늘려 여러 번에 걸쳐 측정한 후 그 측정값들의 평균값을 구하게 되면 측정하고자 하는 대상의 참값(true score)과 거의 동일해진다. 오류를 일으키는 대표적 요인으로는 측정당시 측정자나 측정대상자의 정서적 상태나 신체상황과 같은 일시적 요인 혹은 측정 시간, 조명, 소음 등과 측정 상황적 요인 혹은 측정도구를 읽거나 기록하는 과정에서 발생하는 일시적인 실수 등을 들 수 있다.

2) 측정수준과 측정오차의 관계 연구자가 대상을 측정할 때 가능한 한 측정수준이 높은 척도를 사용하여 측정하는 것이 권장된다. 왜냐하면 측정수준이 높은 척도를 사용하면 할수록 측정대상에 대하여 보다 엄밀한 정보(precise information)를 얻을 수 있기 때문이다. 예를 들어 남녀 성인의 키를 측정할 때 크다, 보통이다. 작다와 같은 범주를 이용하여 성인의 키를 측정할 때 서열적으로 측정하기보다는 미터법과 같은 비율변수로 측정하는 것이 측정대상을 보다 엄밀하게 측정할 수 있으므로 보다 높은 수준(superior)의 정보를 얻을 수 있다.

하지만 측정수준을 높여 이들 성인 남녀의 신장을 1cm의 1/100인 .01cm 단위의 비율변수로 측정하는 경우 측정과정에서 측정오차를 범할 수 있는 확률은 더욱 높아질 것이다. 따라서 보다 높은 수준의 측정은 그러한 높은 수준의 측정에서도 측정오차가 매우 작은 것으로 공인된 측정도구를 확보할 수 있을 경우에 권할 만하다.

제3절 측정의 타당도와 신뢰도 특정한 척도를 이용하여 측정한 측정값이 과연 믿을만한 것인지 아닌지를 판단하기 위해서는 해당 척도의 질(quality of measurement)을 객관적으로 평가할 수 있는 적절한 도구가 필요하다. 이러한 목적을 위하여 사용될 수 있는 개념이 바로 척도의 타당도(validity)와 신뢰도(reliability)이다(Carmines and Zeller, 1979).

1. 타당도(validity)의 개념과 유형 1)타당도의 개념 타당도는 해당 도구가 자신이 측정하고자 하는 측정대상을 측정하는 정도라고 할 수 있다. 측정하고자 하는 대상을 정확하게 측정할 수 있을 경우에 이 척도는 타당도가 있는 좋은 척도라고 판단할 수 있다.

*** 특징 *특정 척도가 측정하고자 하는 대상과 해당 척도 사이의 일치 여부를 중요시한다. 예를 들면 어린이의 지능을 측정한다고 할 때 척도가 측정하여야 하는 것은 기억력, 계산능력, 언어능력, 공간능력 등 다양한 측면으로 구성되어 있어야 한다. 그러나 오직 언어능력을 측정할 수 있는 문항으로만 이루어져 있으면 이 척도는 타당도가 낮다고 판단될 수 있다.

또한 다양한 측면으로 구성하였다고 가정한 상태에서 척도를 구성하고 있는 항목을 기준으로 판단 이 척도를 구성하면서 사용한 용어 및 사례들이 저소득계층들의 어린이들에게는 상대적으로 사용의 빈도가 낮고, 중산층이상 계층의 어린이들에게 상대적으로 친숙한 것이었다면, 해당 척도를 저소득계층의 어린이들을 대상으로 사용하는 경우 타당도는 낮다고 판단될 수 있다.

*특정 척도의 타당도를 정확히 측정할 수 있는 도구가 객관적으로 존재하는 것이 아니라 기본적으로 전문가들의 추정과 합의에 근거할 수 밖에 없다는 것이다. 일반적으로 타당도는 내용타당도(content validity), 기준타당도(criterion-related validity), 구성체타당도(construct validity)로 구분된다(Carmnes and Zeller, 1979).

2) 타당도의 유형과 평가방법 (1) 내용타당도(content validity) 일련의 전문가가 주어진 척도가 측정하고자 하는 내용을 담고 있다고 동의할 때 내용타당도가 있다고 한다. 액면타당도(face-validity)라고 불리기도 하는 내용타당도(content validity)란 측정도구를 구성하고 있는 내용이 가지고 있는 대표성(representativeness)의 정도를 의미한다(Mark, 1996:288). 이러한 정의를 달리 표현한다면 내용타당도란 특정도구를 구성하고 있는 내용들이 자신이 측정하고자 하는 개념이 포함하고 있는 의미의 범위를 담고 있는 정도를 말하는 것이다(Babie, 1995 : 128)

지능을 측정하는 척도는 대상자의 인지력, 지각력, 추리력, 수리력, 기억력 등을 포괄하는 전 영역에 걸친 문항을 포함하여야 한다. 성인들의 “정신건강(mental health)”을 측정하기 위한 척도를 적용할 때 타당도를 가지기 위해서는 병리적 증상, 생활 스트레스, 대인관계 등과 같은 다양한 구성요소들(components)로 이루어져 개발되어야 한다. 내용타당도를 판단하는 데 있어서는 특별히 객관적인 절차나 기준이 있기보다는 관련 개념에 대한 전문가의 판단(judgments) 및 합의(consensus)에 근거하여 결정하는 수밖에 없다. 내용타당도의 문제점 추상적인 개념과 구체적인 측정을 직접 연결시키는 것에서 비롯된 것

(2) 기준타당도 (criterion-related validity) 특정 개념에 대하여 이미 타당도가 확인된 다른 측정도구를 기준으로 삼아 현재 개발된 도구의 타당도를 검토하고자 하는 것이다. 즉, 기존의 척도를 기준으로 새로운 척도를 사용하여 측정한 결과가 기존의 척도를 사용한 측정 결과와 상관관계가 높을 때 새 척도가 기준타당도를 갖는다고 말한다. 여기에는 동시타당도와 예측타당도가 있다.

*예측타당도 (predictive validity) 측정 결과로 나타난 점수나 척도평가치가 조사 대상자의 차후 태도나 행위를 예견할 수 있을 때 예측타당도가 있는 것으로 본다. 예를 들면 운전면허 시험에 사용하기 위하여 개발된 필기시험이 실제로 타당도가 있는 척도인지 아닌지를 평가하는 한 가지 방법은 필기시험에 응시한 응시자의 시험점수와 이들 응시자의 실제 주행능력이 실제로 상관관계가 있는지를 측정하는 것이다. 이 경우 논리적으로 필기시험에서 높은 성적을 받은 사람은 당연히 훌륭한 주행능력을 가질 것으로 어느 정도 예견가능(predictive)하기 때문에 필기시험은 실제주행능력이라는 기준변수에 대하여 예견타당도를 가지고 있을 것으로 가정할 수 있다.

*동시타당도 (concurrent validity) 척도가 측정하고자 하는 대상의 현재 상태나 상황과 어느 정도 부합하는지의 정도를 의미한다(Mark, 1996 :290). 예견타당도가 개발된 척도와 미래에 발생할 것으로 기대되는 기준과의 부합정도를 의미하는 것이라면 일치타당도는 개발된 척도와 현재의 상황과 조건이라는 기준과의 부합정도를 말한다. 예를 들면 척도를 사용하여 측정한 결과 비행점수가 높은 청소년들이 현재까지 과거 비행으로 체포된 사례가 많은 경향이 확인되었다면 이 경우 연구자가 개발한 비행척도는 체포사례라고 하는 기준변수와 어느 정도 일치타당도(concurrent validity)를 가진 것으로 판단할 수 있다.

기준타당도는 실용적 타당도(pragmatic validity)라고 불리기도 한다. 앞서 언급한 내용타당도 보다는 실용적인 것은 사실이나 실제로 새롭게 개발하는 척도의 기준이 될 변수나 척도를 발견하는 것이 그다지 용이한 것은 아니다. 실제로 특정척도와 기준이 되는 척도간에 기준타당도가 낮은 것으로 판정된 경우 실제로 기준타당도가 낮은 것이어서 새로 개발된 척도가 좋은 척도가 아닌 것인지 아니면 기준으로 제시된 척도가 바람직한 기준이 아닌지를 판단하는 것은 쉬운 작업이 아니다.

(3) 구성체 타당도(construct validity) / 개념타당도 구성체 타당도는 어떤 타당도를 판단할 때 그 척도가 측정하고자 하는 개념과 관련이 있는 특정한 이론(theories)으로부터 도출된 구성체(construct)가 그 척도를 사용하여 측정한 실제 측정값과 어느 정도 연관이 있는가를 판단하는 것이다(Mark, 1996:291) 사회과학에서 널리 사용되고 있는 개념들인 지능(intelligence), 우울(depression), 친밀도(intimacy)등은 직접 경험적으로 확인할 수 있는 실체(entities)가 아니라 개념화(operationalization) 과정에 의하여 구성된 이론적 개념이다. 따라서 추상적 개념을 측정하기 위한 척도를 개발하고자 할 경우 이 척도는 이 척도와 연관이 있는 다른 추상적 개념과 특정한 방식의 상관관계를 가질 것으로 추정할 수 있다.

예를 들면 이타심(altruism)을 측정하기 위한 타당성 있는 척도를 개발하려 한다고 가정할 때, 이타심과 관련된 다양한 기존 이론들에 의하면 이타심이라는 개념은 이기심(selfishness) 혹은 적대감(hostility)이라는 개념들과는 부정적인 성격을 가지기 때문에 이들과는 구별되어야 하는 동시에 이타심과 개념적으로 유사한 자선행위(donation) 또는 희생심(unselfishness)과 같은 개념들과는 이론적인 친밀도를 보일 것으로 기대된다. 즉 연구자가 개발한 이타심에 관한 척도의 타당도가 높기 위해서는 이 척도를 사용하여 측정한 실제 측정치와 자선행위 혹은 희생심을 측정할 수 있는 척도를 사용하여 측정한 측정치와는 어느 정도 수렴되는 현상을 보일 것이고, 이기심 혹은 적대감을 측정하기 위한 척도를 사용하여 얻어진 측정치와는 구별되는 현상을 보일 것이다. 달리 표현하자면 어떠한 척도의 구성체 타당도가 높기 위해서는 그 척도는 자신이 측정하고자 하는 개념에 깔려 있는 이론으로부터 도출된 가설을 확증하거나 부정할 수 있는 능력을 가질 것이다(Mark, 1996 : 291).

수렴타당도(convergent validity) 이론적으로 동일한 구성체 혹은 서로 비슷한 의미를 가지는 구성체를 각각 상이한 척도를 가지고 측정할 경우 그 측정치는 서로 수렴할 것이라는 논리에 따라 구성된 타당도 이타심과 자선행위를 측정한 측정치가 각각 타당성이 있는 척도라면 비록 서로 다른 척도로 측정되었지만 이론적으로 비숫한 구성체를 측정한 것이므로 두 측정치는 서로 수렴할 것이다.

판별타당도(discriminant validity) 어떤 특정 구성체를 측정하기 위하여 개발된 척도라면 다른 구성체와는 경험적으로 구별될 수 있는 특성을 가질 것이라는 이론적 전제를 가진다. 이론적으로 자기와는 부정적인 관계를 가질 것으로 기대되는 이타심과 적대감(hostility)의 측정치들은 분명히 구별될 수 있어야 한다.

요인분석(factor analysis) 연구하고자 하는 현상 또는 추상적인 개념이 몇 개의 요인들(factors)로 구성되어 있다고 가정하고, 그러한 요인들 각각을 측정할 수 있는 여러 개의 질문문항들을 만들어 조사를 실시한 후, 그 결과를 분석하여 원래 예상했던 요인들이 나타났는가, 또 나타난 요인들이 원래 작성했던 문항들로 구성되었는가를 검증하는 방법. 기본원리는 문항들을 상관관계가 높은 것끼리 묶어 요인들을 형성하게 하고, 형성된 각 요인들이 상호독립적이 되도록 하는 것이다. 따라서 하나의 요인 내에 묶인 문항들은 동일한 개념을 측정하는 것이다. 즉, 척도의 각 항목 간에 상관관계가 높은 것을 요인(factor)으로 묶는다. 예를 들면, 85개 항목으로 구성된 자아존중감척도(self-esteem scale)로 요인분석을 하면 네 가지 하위 요인, 즉 학습자아존중감(academic self-esteem) 사회적 자신감(social competence) 자신의 외모에 대한 만족(satisfaction with personal appearance) 적극성(assertiveness)으로 구분할 수 있다.

***타당도 검토가 필요한 경우 *측정도구가 새롭게 만들어 그에 대한 과학적 검증이 필요할 때 *어떤 한 집단을 위해 만든 측정도구를 다른 집단에 적용하고자 할 때 *조사연구자가 기존의 측정도구를 더 나은 도구로 개선시키고자 할 때

2. 신뢰도(reliability)의 개념과 평가방법 신뢰도는 측정대상과 측정도구 사이의 관계에 주목하는 척도의 타당도와는 달리 측정도구와 그 실제 측정값을 중심으로 판단된다. 신뢰도를 “측정도구가 측정과정에서 측정오차(measurement error)를 배제하는 정도”(Mark, 1996 :185)라고 정의할 수 있다.

어떤 조사도구가 신뢰할 만 하다고 한다면 비슷한 환경에서 비슷한 집단에게 행하였을 때는 비슷한 결과를 산출할 수 있을 것이다 어떤 조사도구가 신뢰할 만 하다고 한다면 비슷한 환경에서 비슷한 집단에게 행하였을 때는 비슷한 결과를 산출할 수 있을 것이다. 어떤 측정도구가 어느 정도의 신뢰도를 확보하여야 좋은 척도인가의 여부는 특정 사회의 사람들이 일반적으로 요구하는 정확성의 정도와 엄밀성의 정도에 달려있다(김기원, 2002 : 208) 사회과학에서 척도의 신뢰도를 평가하기 위한 크론바하의 알파계수(Cronbach's alpha coefficient)의 경우에도 계수값이 0.6~0.8이상일 경우 그 척도의 신뢰도가 우수한 것으로 간주되고 있다. 이 또한 학자에 따라 다소 다른데 다음과 같이 정의하는 사람도 있다. 신뢰도(r)의 범위는 0~1로, r=.70은 기본적인 신뢰도 수준을, r=.80은 기본적인 연구 수준의 신뢰도 수준을, r=.90은 임상적 결정 수준의 신뢰도를 나타낸다고 할 수 있다(황성동: 2006).

2) 신뢰도 평가방법 기본적으로 동일한 측정도구의 여러 실제 측정값을 서로 비교하거나 혹은 동일한 대상을 측정하는 것으로 판단되는 여러 측정도구들의 측정치를 서로 비교하는 방식으로 이루어진다. 검사-재검사법, 반분법, 대안비교법, 내적일관성측정법 등이 있다.

(1) 검사 - 재검사법(test-retest method) 동일한 대상에 대하여 하나의 척도를 일정한 시간간격을 두고 반복해서 측정한 다음 그 측정값을 서로 비교하는 방법이다. 그 시행이 용이하고 절차가 간단하다는 장점이 있는 반면 어떠한 경우에는 몇 가지 심각한 단점을 보인다. 예를 들면 신장과 같이 측정대상이 안정된 것이어서 여러 번 측정하더라도 그 값들이 상대적으로 객관적인 경우와는 달리, 인간의 태도나 가치 등과 같은 주관적 개념들을 측정하는 경우에는 측정대상인 사람들이 동일한 검사를 반복하는 경우 이 검사에 의하여 영향을 받을 수 있는 소위 시험효과(test-effect)가 나타날 수 있다. 시험효과를 없애고자 상당한 시간간격을 두고 측정을 하는 경우에는 시간간격사이에 연구대상 자체에 변화가 발생하는 소위 역사 혹은 성숙(history or maturation)효과가 발생할 수도 있다. 이러한 단점을 보완하기 위하여 등장한 것들이 반분법과 대안법이다.

(2) 반분법 (split-half method) 이 방법은 하나의 척도를 둘로 나누어 동일한 대상에 대하여 동시에 측정을 실시한 후 각각의 측정값을 비교해 보는 것이다. 만약 측정에 사용한 척도의 신뢰도가 높다면 각각의 측정값은 거의 동일한 값을 보일 것이다. 이 방법은 원래 하나의 척도이던 것을 둘로 나누어 측정대상에게 마치 두 개의 별도 측정으로 보이게 함으로써 시험효과를 제거하는 것이다.

이러한 방법이 가능한 이유는 동일한 대상을 측정하고자 만들어진 척도들 사이에는 서로 호환가능하기 때문이며 이를 지표의 상호호환성(the interchangeability of indicators)이라고 한다. 예를 들면 부모와 자식간의 친밀도를 측정하기 위해 개발된 척도가 있다고 가정하자, 이 척도는 부모와 자식간의 친밀도를 측정할 것으로 기대되는 20개의 질문으로 이루어져 있다. 20개의 질문항목 가운데 무작위로 선택하여 각각 10개의 항목으로 이루어진 두 개의 척도를 만들고 이들을 동일한 연구대상에 대하여 측정한 뒤 두 개의 측정값이 거의 동일하다면 이 척도는 신뢰할 만 한 것이다.

가장 심각한 문제점은 하나의 척도를 동일한 두 개의 척도로 정확하게 반분하는 것이 그다지 용이하지 않다는 것이다. 지능을 측정한다고 할 때 두 개의 동일한 척도를 만들고자 할 경우 다양한 지능의 하위측면들에 관한 항목들이 복수로 충분히 확보되지 않은 경우에 하나의 척도를 동일한 두 개의 독립된 척도로 반분하는 작업이 그다지 용이하지는 않을 것이다.

(3) 대안 비교법 (alternative-form method) 동일한 대상을 측정하도록 고안된 독립된 서로 다른 두 개의 척도를 동일대상에 대하여 동시에 사용하는 것이다. 만약 이 경우 독립된 두 개의 척도에 의하여 측정된 두 측정값 사이에 높은 상관관계가 존재할 경우 이 두 척도는 각각 일관성이 있는 것으로 즉 신뢰도가 높은 척도로 판단할 수 있다. 대안법과 같이 동일한 측정대상을 독립된 두 개 이상의 서로 다른 척도를 사용하여 이들 사이의 상관관계를 통하여 각각의 척도의 신뢰도를 판단하는 방식을 복수척도법(multiple-forms techmique)혹은 병행척도법(parallel-forms technique)이라고 부르기도 한다.

문제점으로는 첫째, 동일한 대상을 측정하도록 개발된 서로 다른 두 개의 척도를 어떻게 확보할 것인가 하는 현실적 문제와 둘째, 척도의 신뢰성을 전혀 판정할 수 없는 경우가 발생한다. 즉, 두 개의 척도가 각기 다른 개념을 측정하도록 고안된 것인지 그리고 상관관계가 높지 않은 이유가 두 개의 척도 가운데 어느 것이 신뢰도가 있는 척도인지를 판단하는 것 역시 쉬운 일이 아니다.

해당 측정 대상에 대하여 신뢰도가 공인된 척도(the established measure)를 비교 대상으로 삼아 새로 개발된 척도를 비교하여 신뢰도을 판단하는 것이 최상을 방법일 것이다. 예를 들어 인성검사를 위하여 개발된 어떠한 척도의 신뢰도를 평가하고자 한다면 인성검사분야에서 이미 신뢰도가 공인된 미네소타다면인성검사도구(MMPI: Minnesota Multiphasic Personality Inventory)와 같은 척도를 비교대상으로 설정하여 두 측정 겂의 상관관계를 살펴보는 것이 효과적일 것이다.

(4) 내적 일관성측정법 (internal consistency measures) 가장 많이 사용되고 있다. 이 방법의 논리적 전제는 만일 다수의 항목들이 하나의 척도를 구성하고 있다면 이들 항목들은 모두 동일한 개념을 측정하고 있을 것이며 이들 항목들 사이의 상관관계는 당연히 높을 수밖에 없다는 것이다. 따라서 척도를 구성하고 있는 항목들 사이의 상관관계가 높으면 높을수록 해당 척도의 신뢰도는 높은 것으로 판단할 수 있다. 가장 널리 사용되고 있는 방법은 크론바하의 알파계수(Cronbach's alpha coefficient)계산법이다(Cronbach, 1951). 척도를 구성하고 있는 개별항목들 가운데 척도의 내적일관성을 저해하여 척도 전체의 신뢰도를 저해하는 항목들이 발견되는 경우 이 항목을 차례로 제거해 나감으로써 척도의 신뢰도를 증가시킬 수 있다.

3. 신뢰도와 타당도의 상관관계 첫째, 서로 비대칭적인 관계(asymmetrical relationship)를 가진다. 어떤 척도의 타당도가 높을 경우 당연히 신뢰도도 높지만 반드시 그 역은 아니라는 것이다. 다르게 표현하면 어떤 척도의 신뢰도가 높은 경우에도 타당도는 낮을 수 있는 것이다.

둘째, 신뢰도는 비체계적 혹은 무작위 오류(random error)와 관련된 개념인 반면 타당도는 체계적 오류(systematic error)와 관련되어 있다. 예를 들어 측정하는 사람이 측정값을 잘못 읽거나 혹은 정확히 측정값을 관찰하였지만 측정값을 잘못 기록할 수도 있다. 또한 동일한 척도지만 측정이 이루어지는 각각의 상황, 예를 들어 측정 당시의 기온에 따라 약간의 오차를 발생시킬 수도 있을 것이다. 하지만 이러한 오차들은 모두 비체계적인 무작위 오류(random error)이기 때문에, 동일한 대상을 여러 번 반복 측정하고자 하는 대상의 실제값과 거의 일치할 것이다.

반면에 타당도가 낮은 척도는 그 척도 자체에 이미 일정한 오류가 내재되어 있기 때문에 측정할 때마다 매번 체계적으로 오류가 발생한다. 앞서 소개한 사례에서 영점조절이 잘못되어 원래측정대상의 값보다 매번 5킬로그램씩 낮게 측정하는 저울의 경우 이 5킬로그램의 오차는 측정과정에서 우연히 발생하는 무작위 오류가 아니라 매번 측정할 때마다 일정하게 나타나는 체계적 오류이다.

셋째, 척도의 신뢰도와 타당도는 일정 정도 상충관계(trade-off)를 가진다. 즉, 특정 개념이 가지고 있는 풍부하고 다양한 측면을 보다 정확히 반영하기 위하서는 해당 척도 자체가 다차원적으로 복잡하게 구성될 수밖에 없다. 일반적으로 척도가 복잡하면 복잡할수록 측정에서 발생할 수 있는 오차는 커질 수밖에 없고 따라서 척도의 신뢰도는 낮아질 수밖에 없다. 만일 연구자가 자신이 개발하고자 하는 척도의 신뢰도를 높이고자 한다면 가능하면 척도를 단순하게 구성하는 것이 좋은 전략이다. 따라서 척도의 개발에서 염두에 두어야 할 것은 일정 정도의 타당도를 확보할 수 있으면서도 현실적으로 신뢰도가 상대적으로 높은 유용성 있는 척도를 개발하여야 한다는 것이다.

제4절 척도와 지수 (scale and index) 1. 척도의 의의 척도란 측정을 위한 도구이다. 즉, 일정한 규칙에 따라 관찰된 현상에 대해서 수치나 기호를 부여하기 위해 사용되는 도구이다. 척도는 일정한 규칙에 따라 숫자나 기호를 배열하는 형식으로 이루어져 있다. 척도는 측정대상의 질적인 속성을 계량적인 변수로 변환시키는 수단이 된다. 사회과학에서 척도는 특정 변수에 대해 종합적으로 측정하기 위해 논리적이고 경험적으로 연관된 하나 또는 다수의 문항들로 구성되어 있다.

가 나 다 신뢰도와 타당도의 관계 나 가 다 가. 신뢰도와 타당도가 모두 낮은 경우 나. 신뢰도와 타당도가 모두 높은 경우 가 나 다 나 가 다 가. 신뢰도와 타당도가 모두 낮은 경우 나. 신뢰도와 타당도가 모두 높은 경우 다. 신뢰도는 높으나 타당도가 낮은 경우

1. 척도와 지수의 개념 1) 지표(indicator) : 지표는 변수의 속성을 나타내는 요소이다. 사회복지의 속성들 삶의 기본요소, 사회경제적 요소 사회정치적 요소 사회문화적 요소 등으로 표현 이들 요소 하나 하나가 사회복지라는 변수의 지표에 해당 사회경제적 지위는 그 사람의 소득, 학력, 직업, 종교 등의 지표를 통해 파악한다.

사회복지의 지표들 사회복지/변수 삶의 기본요소 사회경제적 요소 사회정치적 요소 사회문화적 요소

사회경제적 지위의 지표들 사회경제적 지위 소득 학력 직업 종교

2) 지수(index) : 변수들은 복합적인 성질을 갖고 있기 때문에 단순지표로는 변수의 속성을 정확하게 파악하기 어렵다. 지수란 다의적이고 복합적인 특성을 갖고 있는 개념을 양적으로 측정하기 위해서 고안된 다수의 지표들을 하나로 묶어 단일 수치로 표현한 것이다. 예를 들면, 사회경제적 지위(socioeconomic status : SES), 부패지수(corruption perception index : CPI) 소비자 물가지수, 행복지수 등 측정대상의 개별적인 속성에 부여한 개별지표 점수의 단순한 합으로 또는 개별지표 점수에 가중치를 곱해 합산하여 구성된다.

3) 척도(scale) : 측정대상의 개별적인 속성들을 종합적으로 측정함으로써 변수와 관련된 여러 차원을 측정하고 각각의 차원에(각각의 지표에) 점수를 할당하여 항목간(지표간)에 서열을 가릴 수 있도록 하여준다. 지수는 지표의 점수를 단순히 합하지만 척도는 측정대상의 속성에 따라 점수를 부여함으로써 문항들 간에 강도 구조(struture of intensity)를 포함하고 있다는 장점이 있다.

예) 신앙심 지수 4개의 하위설문으로 된 지수를 개발한다. 4개의 하위설문 문항들은 중요도에 있어서 모두 동일하며 하위설문에 긍정적으로 응답한 숫자 그 자체가 신앙심의 측정이다. ***즉, 지수를 구성하는 개별 설문항목에 긍정적으로 응답한 개수를 합산한 결과를 그 지수가 측정하고자 하는 개념의 서열적인 강도로 간주하는 것이다. *일요일 예배 참석여부 *헌금여부 *기도의 여부 *교회단체 참석여부 **반론 4개의 하위설문간에 일정한 강도의 차이가 있음을 주장하고 가중치를 주어야 한다는 것이다. ***척도는 지수와 달리 하위설문들에 대하여 상이하게 가중치를 줌으로써 설문들 사이에 존재하는 강도구조를 표현할 수 있다는 점에서 지수보다는 훨씬 많은 정보를 제공할 수 있다는 장점이 있다. 그러나 그 수성이 까다롭고 복잡할 뿐만아니라 특정한 대상을 위해 구성된 척도를 다른 대상에 대해서도 자유롭게 사용하기가 어렵다는 단점 역시 존재한다.

2. 척도 사용의 이유 첫째, 측정의 타당도와 신뢰도를 크게 높일 수 있다. 단일설문 측정보다 여러 개의 하위질문으로 측정하는 것이 신뢰도와 타당도를 크게 증가시키는 방법이다. 둘째, 해당개념에 대한 적절한 서열척도를 만들 수 있다. 신앙심에서와 같이 4개의 명목측정을 사용하여 4개 항목에 모두 긍정적으로 대답한 경우에 신앙심이 아주 높은 경우로, 1개 항목에만 긍정적으로 응답한 경우를 신앙심이 아주 낮은 경우 등으로 신뢰도가 높은 서열척도를 구성할 수 있다. 셋째, 척도와 지수는 많은 자료를 효과적으로 축소할 수 있는 훌륭한 도구가 될 수 있다. 척도를 이용하여 개념을 측정하는 경우 해당 척도를 구성하는 모든 지표의 세세한 정보를 유지하면서도 하나의 숫자로 요약된 단일점수를 산출 할 수 있다. *** 복수의 질문을 사용하는 척도나 지수는 하나의 단일 질문을 사용하여 측정하는 경우보다 대상을 보다 신뢰할 수 있고(reliable), 정확하며(precise), 풍부한 내용(scope)을 담아 측정할 수 있게 하여 준다(Spector, 1992 : 4).

3. 척도화의 종류 척도화(scaling)는 숫자나 기호를 우리가 측정하고자 하는 특정 개념의 다양한 수준에 부여(allocation)하는 과정을 말한다. 명목척도화 서열척도화 등간-비율척도화

1) 명목척도화 (nominal scaling) 명목적 수준이란 각 범주에 부여된 숫자가 단지 서로 다름만을 의미하는 수준 각 범주가 동질적이면서 상호 배타적이고 포괄적이도록 문항의 응답지를 구성. 당신의 성은 무엇입니까? 남자 여자

2) 서열척도화 (ordinal scaling) 측정된 값들 사이에 상대적 순서관계를 밝힐 수 있도록 숫자나 기호를 부여하는 과정. 측정, 개념의 조작적 정의, 응답자의 편의(bias) 방지 기능. 총화평정, 리커드 척도화, 거트만 척도화 등.

(1) 총화평정척도 (summated rating index) 총화평정척도는 하나의 변수를 표현한다고 간주되는 여러 개의 질문문항, 즉 지표에 대한 응답자의 응답을 총합(summation)하여 측정값을 구한다고 하여 이러한 명칭으로 불린다. 대개의 경우 척도를 구성하는 개별 지표는 동의함과 동의하지 않음으로 측정되는 것이 일반적이다.

번호 질문내용 동의함 동의안함 1 일반적으로 척도상 10점은 2 강한 동의를 나타내며 3 4 척도상 0점은 5 강한 강한 부정을 나타낸다. 6 7 질문내용의 성격에 따라 8 역으로 해석될 수도 있다. 9 10

예) 빈민에 대한 태도 측정 *우호적 태도와 행위에 대한 설문문항 10개 제시 *동의 1점, 동의하지 않음 0점 *점수 총합 **0점 : 비우호적~10점 : 우호적임 ***점수계산이 용이하다. ***단점은 척도를 구성하는 설문문항들 사이에 존재할 수 있는 강도의 차이를 전혀 반영하지 못한다. ***총화평정척도에선 변수를 구성하고 있는 하위 지표들의 내적 관계에 대하여 논리적 또는 경험적인 타당도 검증이 이루어지지 않기 때문이다.

(2) 리커드 척도(likert scale) 각각의 지표에 대하여 조사대상자가 응답할 수 있는 범주를 상대적으로 안정된 서열구조의 형태로 구성하여 제시하는 방법을 사용하고 있다. 즉 척도를 구성하는 설문에 대하여 단순히 동의함과 동의하지 않음이라는 두 가지 범주로 응답을 구성하기보다는 전혀 동의하지 않음, 약간 동의함, 동의함, 매우 동의함과 같이 상대적으로 안정된 서열형태로 구성하는 것이다. 서열형태의 설문문항에 1~4까지의 숫자를 부여한 후 각각의 지표에 대한 조사대상자의 응답을 전부 합하면 아주 손쉽게 하나의 총화평정척도를 얻을 수 있다.

장점 사용이 용이. 일관성이 있어 신뢰도가 높다. 평가자를 사용하지 않기 때문에 평가자의 주관적 개입을 배제할 수 있어 객관적인 측정이 가능하다. 단순성. 정밀성이 있어 타당도가 높다.

단점 서열적 측정치. 일치성 부족 재현성(reproducibility)부족. 척도의 작성이 양극단값을 기초로 한 서열척도이기 때문에 중간정도의 온건한 응답에는 민감하지 않다는 지적 또한 존재한다. 일치성 부족 *모든 지표들이 내부적으로 모두 동일한 정도의 강도를 가진 것으로 가정하고 있을 뿐만 아니라 지표들 사이에 존재할 수 있는 강도의 차이 역시 충분히 표현하지 못한다는 단점이 있다. 재현성(reproducibility)부족.

구성절차 질문문항 작성 각 문항에 응답 카테고리 설정 각 문항에 1~5점 가중치(weight)부여 응답자에게 적용 (3,4,5점 등 연구자가 적합하다고 생각하는 척도사용) 각 문항에 1~5점 가중치(weight)부여 응답자에게 적용 응답점수 산정 문항분석(item analysis)과 척도점수산정 - 문항 간의 내적 일관성과 상관성을 판단한다. 제1사분위수 이하의 집단에서는 낮은 점수를 받고, 제3사분위수 이상의 집단에서는 높은 점수를 받는 문항이 판별력이 좋은 문항이다. 반면 부정적인 생각을 가진 집단에서나 긍정적인 생각을 가진 집단에서나 비슷한 점수를 받은 문항은 판별력이 좋지 않다.(제거)

리커트 척도문항(측정문항) 응답범주(항목) 매우 그렇지 않다 그저 그렇다 그렇다 1 2 3 4 5 내가 필요로 하는 것을 얻는 데 도움을 주었다. 2. 내가 이해하지 못했던 바를 말해 주었다. 3. 나에게 유용한 충고를 해 주었다. 4. 따뜻하고 이해적이었다. 5. 나의 문제에 관계치 않는 것 같았다.

(3) 거트만 척도 (Guttman Scale) 척도도식법(scalogram method)라고도 부른다. 리커트 척도는 구성이 간편하고 측정이 용이하나 척도를 구성하는 지표들 사이에 존재하는 위계질서를 파악할 수 없다는 단점이 있다. 이러한 문제점을 고려하여 척도를 구성하는 과정에서 지표들의 단일차원성이 경험적으로 검증되도록 설계한 것이다. 이를 위하여 거트만 척도에서는 어떤 개념에 대하여 약한 정도를 측정하는 문항에서 보다 강한 정도를 측정하는 문항 순으로 일차원적으로 척도를 배열하고 강한 정도를 측정하는 문항에 긍정적인 응답자는 당연히 약한 정도를 측정하는 문항에 긍정적이어야 한다는 논리를 경험적으로 확인하는 절차를 취한다.

예) 척도구성 당신의 월평균수입은 300만 원 이상입니까? 예---- 아니오---- 당신의 월평균수입은 300만 원 이상입니까? 예---- 아니오---- 당신의 월평균수입은 200만 원 이상입니까? 예---- 아니오---- 당신의 월평균수입은 100만 원 이상입니까? 예---- 아니오---- 응답에 대한 오류가 없는 한 재생가능성이 완벽하다.

월평균 수입에 대한 이상적 응답 유형 순위 득점 예 아니오 문항1 문항2 문항3 1 3 2 × 4

연구자가 만든 강도의 위계질서가 응답자의 응답에서도 실제로 확인되는 지의 여부는 재생계수(coefficient of reproducibility)의 계산을 통하여 확인한다. 재생계수 = 1 - (오류의 수 / 전체응답자수 × 문항수) 일반적으로 .90이 되면 어느 정도 바람직한 거트만 척도라고 간주할 수 있다.

단점 *재생계수가 높으면서 위계적으로 구성된 지표들을 구하기가 어렵다. *척도를 구성하는 설문문항이 많은 경우 재생계수를 검증하는 절차가 복잡하고 많은 노력과 시간을 요한다는 단점이 있다.

(4) 보가더스의 사회적 거리 척도(Bogardus social distance scale) 서로 간에 일정한 논리적 구조를 가진 설문문항을 지표로 사용하여 척도를 구성하는 것이다. 응답자 자신과 다른 사회적 범주(국적, 인종)의 구성원 간에 인지되는 거리감을 측정하려는 것으로 거트만 척도와 같이 누적적인 항목으로 구성되는 누적적인 척도이다.

예) 응답에 O표를 함으로써 사회적 거리의 원근을 표시한다. 번호 범주(관계를 맺을 용의도) 일본인 한국인 중국인 7 혼인해서 인척관계를 가진다. 6 친구로서 같은 클럽에 소속하겠다. 5 이웃으로서 같은 동리에 살겠다. 4 내가 종사하는 직장에서 함께 일하겠다. 3 우리나라 국민으로 받아들이겠다. 2 우리나라 방문객으로 받아들이겠다. 1 우리나라에 들어오지 못하게 하겠다.

구성절차 사회적 거리감을 측정할 수 있는 문항을 만들거나 수집한다. 조사대상자들에게 자신의 의견과 일치되는 문항에 표시하도록 한다. 척도구성에 적절한 문항을 선정한다. 선정된 각 문항에 대한 점수를 합산하여 각 소수민족에 대한 사회적 거리를 파악한다.

3) 등간-비율척도화 써스톤 척도와 요인척도 등간-비율 측정(Interval-ratio Scaling)은 개별 값들 간에 일정한 거리(등간 측정)와 절대영의 기준점을 가지고 비율측정을 할 수 있다.

(1) 써스톤 척도 (thurston scale) 어떠한 개념을 표현한다고 간주되는 많은 지표들을 확보한 후 이들 사이에 존재하는 관계와 구조를 경험적으로(emporically)판단하여 하나의 등간척도를 구성한다. 이와 같이 경험적으로 설문항목들 사이의 위계구조를 확보한 척도를 써스톤 척도(thurston scale)라고 한다.

구성절차 문항수집 및 작성 수집된 문항에 대한 판단자들의 평가 문항의 중위수 및 사분위수를 구함 문항선정 척도치 부여 척도의 적용

예를 들면 먼저 연구자는 복지의식이라는 추상적 개념을 측정할 수 있을 것으로 간주되는 수십 개의 지표를 수집 ‘복지의식의 강도’를 기준으로 1점에서 7점 혹은 1점에서 11점까지의 점수를 다수의 복지의식전문가들 혹은 다수(50명 이상)의 판단자를 이용하여 점수를 부여해달라고 요청한다. 이 경우 각각의 점수 사이의 간격은 동일한 것으로 즉 등간 척도로 가정한다. 어떤 대상자가 11개의 성문문항 중에서 4점, 6점, 8점의 3개 항목에 동의를 표시했다면 척도값, 4,6,8점의 평균인 6점이 그 응답자가 얻을 수 있는 최종 점수이다. 서열척도보다 측정수준이 보다 높은 등간 척도를 손쉽게 구성할 수 있다는 장점이 있다.

단점은 *지표들 사이의 경험적인 구조를 찾아내는데 너무 많은 시간과 노력을 필요로 한다. *전문가들 사이에 의견이 일치를 이루지 못하는 경우 설문문항을 재수집하거나 여러 번에 걸쳐 전문가의 의견을 구하는 작업이 반복되어야 할 것이다. *써스톤 지표에 의하여 구성된 지표들 사이의 구조는 논리적인 것이 아니라 경험적인 것이기 때문에 시간과 장소에 따라 그 지표들의 의미와 구조가 변화하기 쉬어 안정적인 척도가 되기 힘들다.

(2) 요인척도화 요인분석(factor analysis)은 변수들 간에 존재하는 상호관계의 유형을 밝히고, 상호간에 밀접하게 연관되어 있는 변수들의 묶음을 찾는다.

장점 단점 컴퓨터의 통계프로그램 사용으로 계산상 용이함 단일 차원성 확보 항목들의 가중치(weighting of items)부여 연속점수(continuous scores) 단점 손수 계산하기 어려움 분석을 위한 분석

6) 어의 변별 척도 (Simantic Defferential) 측정하고자 하는 개념에 대하여 다양한 평가의 차원을 확정하고 이들 각각의 평가차원별로 상반되는 양극단의 형용사를 배열하고 그 극단사이에서 해당 개념에 대한 평가를 하는 것을 목적으로 한다. 예) 프로그램 평가 * 평가차원의 구성 : 흥미, 이해정도, 교육내용의 3가지 차원. * 척도 : 서열적 척도 예) 흥미롭다 : 매우 그렇다, 다소 그렇다, 이도 저도 아니다, 다소 그렇다, 매우 그렇다. 이해정도 : 이해가 매우 쉽다 ~ 이해하기 매우 어렵다. 교육내용 : 풍부하다 ~ 빈약하다 등 **수집자료의 분석은 평균치 분석, 거리집락분석 및 요인평점분석 등

장점 *척도구성이 용이하고 가치와 태도와 같은 주관적인 개념측정에 용이하다. 단점 사회과학에서 사용하는 변수는 어의의 차이가 애매한 경우가 많아 적절한 평가의 차원이나 판단기준을 확보하기 힘들다는 단점이 있다. 어의척도의 구성을 평가할 적절한 평가자 집단을 구하기가 힘들고 특정 어의척도를 상이한 장소와 시간에 일반화하여 적용하기가 쉽지 않다.