전문가들의 주관적 평가에 대한 객관적 지수: 동의계수들의 비교

신진이, 조은형, 엄한주 · 한국체육학회지 · 2015

체육 및 스포츠과학 분야의 다양한 영역에서 수행되고 있는 질적, 양적의 관찰연구에서 전문가들의 주관적 판단이 요구되는 경우가 매우 빈번하게 발생된다. 전문가들의 관찰대상은 사람일경우도 있고 사물의 특성(속성)을 분류, 평가하는 경우도 있다. 특히 학교현장에서의 수행능력 평가, 스포츠현장에서 요구되는 체력, 기술, 경기수행에 대한 평가 및 경기기술 자격시험, 경쟁스포츠에서의 심판판정 등에 대한 전문가들의 평가는 다양한 척도의 자료로 제공된다. 전문가들의 평가결과에 대한 객관성 및 신뢰성에 대한 문제는 심사자들 서로간의 상호 일치 정도 또는 심사대상의 상대적 능력 판별 정도에 따라 전자는 심사자들이 제공한 자료의 동의성(agreement), 후자는 일관성 (consistency) 신뢰도로 평가된다. 본 논문에서는 신뢰계수와 동의계수의 동이성(同異性)에 대하여 설명하였고, 다양한 상황에서 발생되는 심사자들의 평가결과에 대한 상호 일치성 정도를 추정하는 동의계수들의 개념에 대하여 고찰하였다. 범주형 자료에 적용되는 단순동의계수와 심사자들의 ``우연일치`` 평가결과로 인한 ``과대추정`` 단점을 보완한 우연보정 동의계수, 그리고 서열척도에서 심사자간의 근접한 평가 범주를 고려한 부분동의계수, 마지막으로 동간-비율척도에 적용되는 우연보정 가중동의계수 및 ANOVA 분석으로 추정되는 ICC지수들에 대하여 심사자(r)의 수 그리고 분류항목(k)의 수를 구분하여 다양한 동의계수 산출방법들을 비교 설명하였으며 다양한 연구상황에 적합한 동의계수 선택기준을 제시하였다.

Cited by 0 works.

Authors