가. 예비문항 pool 작성
구성개념과 하위 요인에 대한 개념정의 및 요인구조가 정리되면, 이를 측정하기 위 한 예비문항을 작성해야 한다. 이를 위한 예비문항의 수집은 구성개념을 대표하는 행 동을 파악하는 과정과 동시에 시작되는데, 이전에 먼저 고려되어야 할 사항은 문항의
수를 얼마만큼 구성할 것인가이다. 예비문항의 수는 최종적으로 검사도구에 포함하고 자 하는 문항의 수를 고려하여 결정해야 하는데, 학자들마다 다소 차이가 있다. 최종 문항 수의 1.5~2배 수준의 문항수가 권장되기도 하고(이종범, 2005), 최소 2배 (Hinkin, Tracey, & Enz, 1997)를 요구하기도 하며, 많게는 척도의 내적일관성 확 보를 위해 3~4배의 예비문항수를 권고하기도 한다(Morgado, Meireles, Neves, Amaral, & Ferreira, 2017).
한편 최종 검사도구의 하위 요인별 문항수는 학자마다 조금씩 차이를 보이고 있다.
적게는 4~6개의 측정문항수가 권고되기도 하지만(Carmines & Zeller, 1979;
Harvey, Billings, & Nilan, 1985), 많게는 3~15개 정도가 적당한 것으로 간주되기 도 한다(Anastasi, 1988; Crocker & Algina, 1986; Walsh & Betz, 1995).
이 연구에서의 예비문항의 작성은 1차 델파이 조사에서 확정된 구성개념, 하위 요 인 및 행동특성에 따라 세부적인 예비문항을 선행연구 등을 참조하거나 연구자가 일 부 수정 및 추가하여 예비문항의 pool(안)을 권고된 문항수를 참조하여 구성하였다.
또한 하나 이상으로 해석될 수 있는 용어나 문장의 사용을 지양하였다. 아울러 현재 시제로 작성하여야 하기에(Crocker & Algina, 1986), 이를 준수하였다. 중요한 점 은 개념이나 하위 요인이 인지적인 특성이 강하지만, 실제 예비문항은 이러한 인지적 요소 못지않게 관찰이 가능하여 측정할 수 있는 행동지표를 통해 객관성을 갖출 수 있는 노력이 필요하다. 이는 검사도구가 유용성을 지니기 위해서는 특정한 능력에 적 합한 구체적인 행동이 제시되는 것이 중요하기 때문이다(Lucia & Lepsinger, 1999).
나. 문항 반응양식 결정
문항에 대한 연구대상자들이 반응을 하게 하는 방식은 여러 가지가 있다. 크게 분 류하면 개방형 설문지와 같이 직접 내용을 자유롭게 기술할 수도 있고, 진위형이나 중다선다형과 같이 범주를 정하여 선택하게 할 수도 있다(탁진국, 2011). 하지만 검 사도구 개발에서 일반적으로 사용되는 방법은 리커트(Likert) 척도가 가장 보편화된 방법이다(탁진국, 2011; Gable & Wolf, 1993). 이 방식은 개발한 연구자의 이름인
Likert(1932)에서 시작되었다. 이 방식은 측정하려는 구성개념에 관해 긍정 또는 부 정의 내용을 담은 문항을 제시하여, 연구대상자들이 이 문항에 대하여 어느 정도를 동의하는지 5점~7점 정도의 척도를 사용하여 응답하게 하는 것이다.
이처럼 연구대상자들이 본인이 느끼는 정도를 선택하게 하는 것을 자기평정식 척 도라고 한다. 이 방식은 자기가 자기를 주관적으로 평정하기에 편향성이나 관대화의 오류 등이 존재하여 비판도 있으나(Lowman & Williams, 1987), 주관적인 자기평 정이 실제적이고 객관적인 능력 측정치와 상당히 유사하여 신뢰할 수 있어 타당성이 있다는 의견이 지배적이다(Harrington & Harrington, 2001; Mabe & West, 1982; Zytowski & Luzzo, 2002). 이에 이 연구도 리커트 7점 척도를 예비문항의 반응양식으로 사용하였다.
다. 문항검토 및 수정
문항검토 및 수정의 단계는 전문가 집단을 통하여 내용타당도를 확보하는 절차로 다음과 같다. ①각 요인별 대표적인 행동유형의 포함여부, ②각 요인별 제시된 행동 예시의 적합성, ③각 문항 표현에 있어 어색하거나 혼동되는지의 여부, ④적절한 어 휘사용, ⑤문법 사용의 적절성, ⑥문항의 측정목적과의 일치여부, ⑦문항내용이 응답 자가 이해하는데 어려움은 없는지 등을 검토해야 한다(정철영, 2002). 이러한 맥락 에서 개발된 예비문항을 2차 델파이 조사를 통하여 내용타당도를 검증하여 문항을 수정 및 보완하여 완성하는 과정을 거쳤다. 구체적인 내용타당도 검증방법은 1차 델 파이 조사와 동일하게 CVR, 안정도, 합의도, 수렴도, 사분위점수 등을 통하여 이루어 졌으며, 이 과정을 통해 예비 문항을 검증하였다.
한편 델파이 조사는 3회 이상의 합의 과정을 거치는 것이 바람직하지만, 2차 델파 이 조사에서 충분한 합의에 도달할 경우는 2차에서 종료가 이루어지고 있다(최수정, 이건남, 남중수, 임효신, 조규형, 2017). 이에 이 연구에서도 1차 델파이 조사에서는 개념, 하위 요인, 하위 요소를 위주로 하는 요인구조에 관한 합의과정을 거쳤으며, 2 차 델파이 조사에서는 예비조사 문항에 대한 합의과정에 중점을 두고 진행하였다.
다음으로 합의된 예비문항에 대하여 연구대상인 중소기업 사무직 중고령자 9명에
게 실제 인터뷰(면담)를 진행하는 한편 예비문항에 관한 안면타당도(face validity) 를 검토 받았다. 안면타당도는 연구대상의 인지능력 수준에 따라 문항에 대한 이해도 를 고려하는 타당화 검증 방법이다. 즉 실제 연구대상에게 해당 검사 또는 문항이 측 정하고자 하는 것을 측정하는 것처럼 보이느냐를 묻는 것이다(Koskey, Karabenick, Woolley, Bonney, & Dever, 2010). 연구대상자와의 인터뷰를 통해 이 과정에서 설문문항을 이해하기 어렵거나 추가적으로 수정해야 할 사항 등에 대하여 검토를 진 행하였다.