제 9 장 척도(scale = measure)의 개발과 평가 척도개발 시 고려사항 척도점의 수 : 척도점의 수를 몇 개로 할 것인가의 문제로 많으면 많을수록 응답분포를 크게 하여 응답자들을 판별할 수 있는 능력(discriminant power)이 커지는 장점이 있지만, 응답이 어려워진다(4~7 점 척도가 가장 많이 사용됨) → 7점 척도가 가장 많이, 다음으로 5점 척도가 가장 많이 사용됨. 짝수 점 척도와 홀수 점 척도 짝수 점 척도 : 가운데 점이 주어지지 않아 응답자가 중립적인 입장인 경우를 측정할 수 없다(응답자들이 중립적인 입장을 취하는 경우는 얼마든지 있을 수 있다). 홀수 점 척도 : 일반적이며 중립적 입장의 응답자의 측정이 가능하다. 그러나 응답자가 깊은 생각없이 가운데 점에 답할 수도 있다. 만약, 많은 응답자들이 가운데 점에 답한다면 그 자료의 가치는 떨어진다. 이를 위해 짝수 점 척도를 만들 수 있으나, 진실로 중립적인 입장을 취하는 응답자는 답을 할 수 없거나 자신의 의도와는 다르게 강제적으로 어느 점을 택하도록 하는 문제점이 발생할 수 있다. “의견없음”이라는 것을 추가할 수도 있음. 균형 척도와 불균형 척도 : 긍정적 의미를 갖는 척도점의 수와 부정적 의미를 갖는 척도점의 수를 같게 할 것인가 다르게 할 것인가에 관한 것으로 대다수의 척도들은 양쪽 척도점의 수를 같게 함으로써 균형을 이룬다. 균형척도가 불균형척도에 비해 편견적 응답을 유도하지 않음으로써 보다 바람직할 것으로 생각되기 쉽지만 반드시 그렇지는 않다.
단일항목 척도와 다항목 척도 construct를 측정하기 위하여 단일 항목보다는 가급적 다항목(multi-item)을 사용하는 것이 매우 바람직하며 표본 값으로부터 모집단 값을 추정할 때 표본의 크기가 클수록 그 추정치가 보다 신뢰할 수 있는 것과 유사. 일방향 척도와 혼합형 척도 : 의미차별화척도(semantic differential scale)를 사용하는 경우에 고려할 사항으로 유사한 의미를 갖는 표현을 모두 같은 쪽에 배치하면 응답이 쉽다. 그러나 응답자들은 모든 항목들이 유사하다고 생각하여 하나 하나씩 생각을 하며 응답하지 않고 상단에 위치한 몇 개만 보고서 전체적으로 동일하게 응답할 우려가 있다. 이를 방지하기 위해 응답의 위치를 혼합할 수 있다. 이러한 경우 신중한 응답을 유도할 수 있는 반면에 응답을 어렵게 할 수 있다. Reverse Scale(역척도) : 프로그램에 반대로 coding하거나 recode기능 사용. 척도점의 의미 기술 : 세 개 이상의 척도점을 갖는 척도의 경우 양쪽 끝 이외의 척도점에 의미를 기술한 것인가의 문제. 양쪽 끝에만 의미를 붙이는 방식 : 척도가 간결하게 제시될 수 있다는 장점이 있으나, 척도점의 의미를 응답자에 따라 달리 해석할 수 있다는 문제점을 갖는다. 척도점의 군데군데 의미를 붙이는 방식 : 의미가 표현된 척도점에 응답이 몰릴 수 있다. 모든 척도점에 그 의미를 나타내는 방식 : 의미가 표현된 척도점에 응답이 몰리는 문제는 해소될 수 있으나 지면이 많이 소요되며, 척도점이 많은 경우 각각의 척도점이 차별적 의미를 갖도록 말로 표현하는 데 한계가 있다.
마케팅조사에서 자주 사용되는 척도들 리커트 척도(Likert Scale) : 어떤 진술에 대해 개인이 동의하거나 동의하지 않는 정도를 표시하도록 하는 척도. 코카콜라는 매우 달다(← 실질적으로 많이 사용된다). 코카콜라(←보다 적절한 척도) 의미차별화 척도(Semantic Differential Scale) : 서로 상반되는 말을 양쪽 끝에 나타낸 척도(양 끝에 형용사가 많이 쓰인다 ← 간격척도로 볼 수 있다). A 은행에 대한 귀하의 평가를 해당 난에 표시하시오. 전혀 동의하지 않는다. 전적으로 동의한다. A 은행의 직원은 고객들에게 공손하게 대한다. A 은행은 ATM 등 최신시설을 충분히 갖추었다. 동의한다. 동의하지 않는다. 매우 달지 않다. 매우 달다. 불손한 직원 공손한 직원 불충분한 현대식 시설 충분한 현대식 시설 낮은 예금 이자율 높은 예금 이자율 느린 서비스 신속한 서비스
등급척도(Rating Scale) : 대체적으로 간격척도에 해당 중요성 등급척도(평균적으로 많이 쓰인다.) 그래픽 등급척도(현실적으로 잘 쓰이지 않는다. ← 정밀성이라는 측면은 높지만…) : 중요성 척도의 변형으로 척도를 연속성으로 제시하고 응답자가 생각하는 위치에 ∨표를 하도록 하는 것이다(전체 길이의 좌측 혹은 우측에서 그 위치까지의 길이가 중요성의 정도가 된다). 전혀 중요치 않음 매우 중요함 직원의 친절성 시설의 현대화 예금 이자율 서비스의 신속성 전혀 중요치 않음 매우 중요함 직원의 친절성 시설의 현대화 예금 이자율 서비스의 신속성
알파벳 등급척도(학교성적 ; Excellent/Very Good/Fair/Poor) A B C D F 안면척도 평가 등급척도(평균적으로 많이 쓰인다) 알파벳 등급척도(학교성적 ; Excellent/Very Good/Fair/Poor) A B C D F Stapel 척도 : 의미차별화 척도의 변형으로 상반되는 두 가지 표현대신 한 가지 표현만을 사용하며 짝수점 척도(보통 10점)을 이용한다. A 은행에 대한 귀하의 평가를 속성별로 ∨표 하시오(보통 동의할수록 높은 점수를 부여함). 1234567 ● 지극히 불량함 매우 보통임 좋음 예외적으로 우수함 -5 -4 -3 -2 -1 친절한 직원 +1 +2 +3 +4 +5 충분한 현대식 시설 높은 예금 이자율 신속한 서비스 보통 가운데 점들이 없다.
고정총합법(Constant Sum Method) : 비율척도에 해당하며 주어진 상대적 선호도 혹은 상대적 중요도를 비교하는데 사용되는 척도이다. 100 혹은 일정한 값을 주어진 대안 혹은 속성에 할당하도록 한다. 중요성 등급척도로는 속성의 상대적 중요도를 제대로 측정할 수 없으나, 고정총합법을 이용하면 속성의 상대적 중요도를 측정할 수 있다. 그러나 대안이나 속성이 많은 경우 응답이 어려워지는 한계점이 있다. 상대적 선호도 상대적 중요도 다섯 개의 음료브랜드에 대한 상대적 선호 정도를 합계가 100이 되도록 나타내시오. 다음은 고객이 은행을 평가할 때 일반적으로 고려하는 속성들입니다. 귀하가 생각하는 각 속성의 상대적 중요도에 따라 전체 100점을 나누어 부여하십시오. 전혀 중요하지 않은 경우 “0”을 줄 수 있으며, 점수를 부여한 후 합계가 100이 되는지 확인해 주십시오. 코카콜라 펩시콜라 칠성사이다 게토레이 포카리스웨트 100 직원의 친절성 시설의 현대화 예금 이자율 서비스의 신속성 100
척도의 타당성과 신뢰성 construct는 변수들 중 추상적 성격이 강한 것을 말하며 객관적 척도가 존재하지 않으며, 척도로써 측정한 경우 그 측정이 제대로 이루어졌는지를 평가하는 것이 매우 중요(응답자로부터 수집한 자료분석결과 가설이 지지되지 않았다면 가설이 옳지 않을 수도 있겠지만 측정이 잘못되었기 때문일 수도 있다. 또는 두 이유 모두일 수 있다). 오류와 타당성 및 신뢰성 5 ㎝ Systematic error 타당성 ↓ 신뢰성 ↑ Nonsystematic error 타당성 ↑ 신뢰성 ↓ A 4.50 4.51 4.52 B 4.85 5.05 5.10
어떤 construct의 값을 척도로 측정한 경우 반드시 실제값을 제대로 측정하였다고 할수 없다. 다음 식을 통해… XO = 측정값(measured value of observed value) XT = 실제값(true value) XS = 체계적 오류(systematic error) XR = 비체계적 오류(nonsystematic error or random error) 체계적 오류 : 척도 자체가 잘못됨으로써 발생하는 오류로서 길이나 무게를 측정하면서 부정확한 자나 저울을 사용할 때 발생하는 오류. 비체계적 오류 : 측정하는 사람이나 상황으로부터 발생하는 오류로 길이를 반복측정할 때 측정하는 사람이 부주의하면 동일한 자를 사용하더라도 차이가 있을 수 있다. → 척도(측정치)의 타당성과 신뢰성과 관련. 타당성(validity) : 측정하고자 하는 대상을 척도가 얼마나 정확히 측정하는가에 관련된 것으로 길이를 측정하는 자가 객관적으로 정확할수록 그 자는 길이를 측정하는 데 보다 타당하다(∴ 체계적 오류가 작을수록 그 척도의 타당성은 높다). 신뢰성(reliability) : 어떤 대상을 반복 측정했을 때 동일한 결과를 얻는 정도와 관련된다(∴ 비체계적 오류가 작을수록 그 척도의 신뢰성은 높다).
타당성 : 측정하고자 하는 대상을 척도가 얼마나 정확히 측정하는가에 관한 것으로 측정자는 현실적으로 측정대상의 진실된 값(true score)을 모르므로 타당성을 완벽하게 판단할 수는 없으며 다만 몇 가지 증거로써 그 척도(측정값)의 타당성을 추정(infer)할 뿐이다. 기준관련 타당성(Criterion-related Validity) : 두 가지 대상들간의 상관관계에 관한 것으로 척도 A로써 기준변수 B의 값을 추정하였을 때 A의 값과 실제 B의 값간의 상관관계가 높다면, 척도 A는 변수 B에 대한 기준관련 타당성이 높다고 할 수 있다. 예측타당성(predictive validity) : 척도가 미래에 발생할 어떤 사건(기준변수)을 얼마나 잘 예측하는가에 관한 것. 동시타당성(concurrent validity) : 측정수단, 즉 척도와 기준변수 간의 관계가 동시에 평가되는 경우의 기준관련 타당성. B A Correlation (Construct ; 변수) (Measure) 미래시점 : 예측타당성 동시시점 : 동시타당성
내용타당성(Content Validity) : 척도가 어떤 대상을 측정하는데 사용될 수 있는 많은 수단들을 얼마나 잘 대표하는가에 관한 것. 내용타당성의 유·무, 정도는 주관적으로 판단 : 사람의 얼굴을 봐서 그 사람의 품성, 능력 등을 추정하듯이 척도를 봐서 주관적으로 판단 → 안면타당성(face validity) ; 사람마다 다를 수 있으므로 그 분야의 전문가에 의해 그 척도가 적절한 것으로 평가된 것은 내용타당성이 비교적 높다고 할 수 있다(어떤 초보연구자가 태도와 관여도 같은 소비자의 심리적 특성에 관한 연구를 할 때 자기가 임의로 척도를 개발하는 것보다 기존의 선행 연구들에서 많이 사용된 척도를 사용하는 것이 내용타당성 측면에서 보다 안전). 영어 어휘력 심리학 용어 – 적당하지 않다. Cognition Affect Conation Dissonance Consonance Attribute…
Construct 타당성(Construct Validity) : construct는 척도간의 일치성(correspondence) 정도에 관한 것으로 어떤 척도가 측정하고자 하는 construct의 값을 정확히 측정하는 정도(the degree to which a measure assesses the construct it is purported to assess)에 관한 것(어떤 척도가 측정하고자 하는 construct의 방향과 크기를 보다 잘 측정할 수 있을수록 그 척도는 그 construct를 측정하기 위한 construct 타당성이 높다고 할 수 있다). 집중타당성(convergent validity) : 하나의 construct를 측정하기 위하여 가급적 다른 척도들을 사용하여 측정한 값들 간의 상관관계와 관련된 것으로 상관관계 값이 클수록 집중타당성이 높다(correlation ↑ → 집중타당성 ↑) 판별타당성(discriminant validity) : 한 construct를 측정하는 척도와 다른 construct를 측정하는 척도와의 상과관계와 관련된 것으로 상관관계 값이 작을수록 판별타당성이 높다.(construct 척도간의 correlation ↑ → 판별타당성 ↓) ; 값이 0 혹은 0에 가깝게 나타나는 경우는 오히려 드물다. 따라서 상관관계 값이 1보다 유의적으로 작으면(ρ< 1) 판별타당성이 있다고 볼 수 있다.
Construct A Construct B ? MA1 MA2 MB1 MB2 Construct A와 Construct B 간의 관계를 조사하는 연구에서 : Construct A와 Construct B를 각각 측정하는 척도 MA1, MA2 그리고 MB1, MB2 가 있다. MA1과 MA2의 상관관계가 높을수록 MA1과 MA2는 construct A를 측정하는 데 집중타당성이 높다. 또한 MB1과 MB2간의 상관관계가 높을수록 MB1과 MB2는 construct B를 측정하는데 집중타당성이 높다. MA1과 MB1, MA1과 MB2, MA2와 MB1, MA2와 MB2는 각각 상관관계의 절대값이 작을수록 판별타당성이 높다. 집중타당성과 판별타당성이 어느 정도 있다고 판별될 때 두 construct 간의 관계를 조사해야 한다. 만약 집중타당성과 판별타당성(← 두 개의 constructs를 기준으로)이 확보되지 않은 경우 두 constructs 간의 관계를 조사한다면 그 결과는 가치가 매우 떨어진다. 타당성 검증이 끝난 이후 분석이 이루어져야 한다.
Construct A와 Construct B 간에 正의 관계 / MA와 MB 간에 높은 正의 상관관계 법칙타당성(nomological validity, lawlike validity) : 한 construct와 다른 construct의 관계에 관한 가설의 검증결과와 관련. 이론으로부터 construct A와 construct B 간의 관계에 관한 가설을 도출하였다. Construct B를 측정하기 위한 척도 MB는 일반적으로 매우 타당성이 높은 척도로 받아들여지고 있다. 연구자는 자신의 지식을 토대로 construct A를 측정하기 위한 척도 MA를 개발하였다. 만약 가설검증결과 construct A와 construct B의 관계가 가설에서 설정한 대로 나타났다면 MA는 construct A를 측정하는데 법칙타당성이 있다. Construct A Construct B ? MA MB Construct A와 Construct B 간에 正의 관계 / MA와 MB 간에 높은 正의 상관관계
가설검증을 위해 척도를 개발한 경우 검증 이후에야 법칙타당성을 판단할 수 있으나 집중타당성과 판별타당성은 가설검증 이전에 평가되어야 한다. 신뢰성(reliability) : 한 대상을 유사한 측정도구로 여러 번 측정하거나 한 가지 측정도구로 반복 측정했을 때 일관성있는 결과(consistent results)를 산출하는 정도와 관련되면 일관성있는 결과가 산출될수록 그 척도(측정치)의 신뢰성은 높다. 내적일관성(Internal Consistency) : 한 construct를 다항목(multi-item)으로 측정했을 때 항목들이 일관성(consistency) 혹은 동질성(homogeneity)을 갖는가에 관한 것으로 항목들간의 상관관계로써 평가되며, 상관관계가 높을 때 내적일관성이 높다. 양분법(split-halves) : 내적일관성을 보기 위하여 다수의 항목들을 양분하여 한 쪽에 속한 항목들과 다른 쪽에 속한 항목들의 상관관계를 계산하는 방법. Cronbach’s coefficient alpha(Cronbach’s α계수) : 모든 가능한 상관관계 값들의 평균값으로서 신뢰성을 측정하는데 절대적, 현실적으로 많이 사용된다. 항목들의 수 항목 i의 분산값 항목의 전체 분산값 항목간 평균상관계수 혹은
→ 항목의 수 多, 척도점의 수 多일수록 Cronbach’s α ↑ Cronbach’s α 계수는 0에서 1 사이의 값을 가지며, 높을수록 바람직하나 반드시 몇 점 이상이어야 한다는 기준은 없다. 흔히 0.8 ~ 0.9 이상이면 바람직하고, 0.6 ~ 0.7 이면 수용할 만한 것으로 여겨지며, 0.6보다 작으면 내적일관성을 결여한 것으로 받아들여진다. → 이 경우 Cronbach’s α 계수의 크기를 저해하는 항목들(item-to-total correlation이 낮은 항목)을 제거함으로써 계수값을 크게 할 수 있다 ; 일부항목을 제거하더라도 α 계수가 매우 작으면 그 자료는 내적일관성을 결여한 것으로 본 분석에서 사용해서는 안 된다. 척도와 Cronbach’s α에 관한 연구 → 항목의 수 多, 척도점의 수 多일수록 Cronbach’s α ↑ 반복측정 신뢰성(Test-Retest Reliability) : 대상에 대한 측정을 2회 실시하여 측정값들간의 상관관계 값으로 평가하는데, 척도의 안정성(stability)에 관련된 것으로 응답자들에게 한 construct의 척도들에 응답하도록 한 다음 어느 정도 기간이 지난 다음 같은 척도들에 응답하도록 하는 것이다. Churchill and Peter (1984) Peterson(1994) 이학식·김영 (1997) Cronbach’s α 평균값(표준편차) .751 (.156) .77 (일종의 준거점 역할) .7685 (.1316)
기간이 너무 길면 실제값 자체가 변할 수 있으며(소비자의 브랜드 태도 자체가 변할 수 있다) 너무 짧으면 주시험효과(main testing effect)가 발생하여 두 번째 응답시 첫 번째 응답을 기억하여 답할 수 있다 ; 일반적으로 2주 간격정도가 권장된다(construct 자체가 쉽사리 변하지 않으면 좀더 시간간격을 길게 설정할 수 있다). 한계점 : 시간간격을 어떻게 설정하더라도 주시험효과와 값 자체의 변화를 완전히 통제할 수 없다. 두 시점간의 값에 상당한 차이가 있는 경우 : 신뢰성이 낮기 때문일 수도 있지만 값 자체가 변화했기 때문일 수도 있다. 두 시점간의 값이 매우 유사한 경우 : 실제로 신뢰성이 높을 수도 있지만 주시험효과 때문일 수도 있다. 대안항목 신뢰성(Alternative-form Reliability) : 반복측정 신뢰성의 한 가지 한계점은 주시험효과가 작용할 수 있다는 것이다. 대안항목 신뢰성은 주시험효과를 방지하기 위하여 두 번째 측정시 첫 번째 사용한 척도와 매우 유사하지만 다른 척도를 사용하는 것으로 척도의 안전성과 관련되면, 두 시점의 간격은 2주 정도가 권장된다. 한계점 : 두 시점의 응답에 상당한 차이가 있는 경우 그 이유는 신뢰성이 낮기 때문일 수도 있지만 대안항목과 기존항목의 동등성(equivalency)이 낮기 때문일 수도 있다는 점이다. 또한 현실적으로 매우 유사하면서도 다른 척도를 개발한다는 것은 결코 쉽지 않다.
타당성과 신뢰성의 평가시점 : 본 분석(main analysis)에 앞서 수행되어야 한다 타당성과 신뢰성의 평가시점 : 본 분석(main analysis)에 앞서 수행되어야 한다. 즉 각 construct를 측정하는 척도가 타당성과 신뢰성이 높다고 평가되었을 때 비로서 본 분석을 해야 하며, 이때 그렇지 않다고 판단되면 본 분석을 수행해서는 안 되며, 이러한 과정을 거치지 않고 본 분석이 수행되면 분석결과의 가치는 매우 낮다. 타당성과 신뢰성 향상방법 타당성 향상방법 타당성은 측정하고자 하는 대상을 측정도구(척도)가 얼마나 정확히 측정하는가에 관한 것이므로 측정하고자 하는 대상 그 자체에 대한 엄격한 개념정의가 필요(brand loyalty를 구매행동만으로 개념화하는지 태도와 행동 두 가지로써 개념화하는지에 따라 측정도구는 달리 개발되어야 한다). 측정대상에 대해 명확한 이해를 갖는 사람이 척도를 개발하고 평가하도록 한다. 두 개 이상의 다른 척도를 사용하여 집중타당성을 평가(이 때 여러 척도들 중 일부척도가 다른 척도와의 상관관계가 낮으면 이를 제거함으로써 집중타당성을 높인다). 항목들의 의미가 조사자와 응답자간에 정확하게 의사소통되도록 용어사용에 신중을 기한다. 기존에 개발되어 타당성이 있는 것으로 받아들여지는 척도를 이용(이 경우 내용타당성은 인정되지만 construct 타당성은 자료수집 후 다시 평가해야 한다).
신뢰성 향상방법 신뢰성 평가를 위하여 가장 흔히 이용되는 방법은 Cronbach’s α계수에 의하여 내적일관성을 조사하는 것이다. SPSS program 등을 이용하면 주어진 자료의 경우 Cronbach’s α계수의 값과 각 항목을 제거하는 경우에 획득할 수 있는 α계수 값을 알 수 있다(이 경우 일부항목을 제거함으로써 보다 높은 내적일관성을 갖는 자료들을 확보할 수 있다. 이러한 제거를 대비해서라도 가능하면 처음에 많은 항목들을 사용). 내적일관성은 항목들간의 유사성 혹은 동질성과 관한 것이다. 기존에 개발되어 신뢰성이 있는 것으로 받아들여지는 척도를 이용할 수 있다(이 경우에도 수집한 자료로써 신뢰성 평가를 해야 한다). 조사일정상 시간여유가 있다면 반복측정(test-retest)에 의한 신뢰성 평가를 하고 이 때 신뢰성을 저하시키는 항목들을 제거. 참고 관여도의 개념적 정의 : 평상시 욕구, 가치, 관심을 토대로 어떤 대상에 대한 개인의 지각된 관련성(A person’s perceived relevance of the object based on inherent needs, values, and interest) ; 이 정의에 따르면 개인은 어떤 대상이 자신과 관련성이 높다고 생각할수록 고관여된다.