영향을 받고 다른 측정은 그렇지 않는 것이다. 예를 들어, 고등학생들을 위한 새로운 미적분학 교육과정을 만들고자 한다면 이 교육과정의 사후검사 결과는 대수학 점수가 아닌 미적분학 점수와 관계가 있을 것이다. 하지만 대수학 점수의 사후검사 역시 과거 사건과 성숙 위험요소와 같은 외부 요소들 때문에 경과에 영향을 미칠 가능성이 있다. 그러므로 대수학의 사전사후검사 결과는 통제 측정 값으로 사용하고 미적분학의 사전사후검사는 처리 값으로 사용한다. 그림 10.13 에서 보듯이 단일집단은 N 으로 나타내고 동일집단의 미적분학과 대수학의 사전검사는 , 사후검사는 로 나타낸다. 이 설계는 내부 타당성 측면에서 약하지만 독립된 통제집단을 사용하지 않는다는 것이 장점이다.
비동등종속변수설계의 변동성은 다수의 결과변수와 각각의 변수가 처리에 의해 얼마나 영향을 받는지 설명하는 이론을 적용한 패턴을 결합한 설계이다. 이것은 연구자가 이론적 예측 값이 실제 관측 값과 일치되는지 여부를 검사할 수 있다. 따라서 패턴매칭기술(pattern-matching technique)은 이론과 실제 관찰된 패턴 사이의 일치하는 정도를 바탕으로 본래 비동등 종속변수 설계의 낮은 내부 타당성에 대한 염려를 완화시키는 강력한 방법이다.
<그림 10.13> NEDV 설계
사전에 검증된 작업으로 수행하고 처리조작 점검을 수행하고, 필요하다면 반복적으로 예비검사를 실시한다. 또한 응답자들에게 단순하고 친숙한 작업을 할 수 있도록 설계한다.
요약하자면, 이번 장에서는 실험연구 설계방법의 핵심 개념을 소개하고 다양한 진실험설계와 준실험설계에 대해서 소개했다. 실험연구가 대부분 내부 타당성이 있을 지라도 내부 타당성이 낮은 설계는 간과되어서 안 된다.
제 11 장 사례연구
사례연구는 자연적인 배경 안에서 하나 혹은 그 이상의 측면에 대해 오랜 시간을 거쳐 집중적으로 연구하는 방법이다. 인터뷰, 관찰, 사전기록문서, 이차자료분석과 같은 다양한 자료수집 방법들은 연구자가 관심 있는 현상에 대하여 풍성하고, 상세하고 연구 현상과 관련된 추론을 얻는데 활용될 수 있다. 사례연구는 실증주의적 방식을 활용한 이론 검증과 해석적 방식을 이용한 이론 구축이 가능하다. 이 방법은 다른 사회과학 분야보다 경영학 연구 분야에서 널리 활용되고 있다.
사례연구는 실험연구와 조사연구와 같은 연구방법들과 비교하면 독특한 강점들을 지니고 있다. 첫째, 사례연구는 이론 구축 및 검증에 모두 활용되며, 특히 실증분석방법은 이론검증을 통해 연구한다.
해석적 사례연구의 경우, 알려지지 않은 구성개념이 연구과정 중에 드러나기도 한다. 둘째, 연구 초기의 연구과정에서 그것과 관련성이 적거나 핵심적인 부분을 다루지 않을 경우에는 연구질문이 수정될 가능성이 있다. 하지만, 이것은 자료수집 단계가 완료된 후의 실증 방법에서는 불가능하다.
셋째, 사례연구는 연구맥락과 관련된 자료를 풍부한 집합체들로부터 탐색할 수 있는 장점을 가지고 있기 때문에 다른 연구방법과 비교하여 풍부하고, 현상을 설명하는 맥락에 적합하고, 정확한 해석을 가능하게 도와주는 역할을 한다. 넷째, 연구자의 관심현상은 다양한 참여자들의 관점으로부터 연구되며, 단위분석(예: 개인과 조직)이 가능하다.
사례연구는 다음과 같은 몇 가지 약점을 가지고 있다. 첫째, 실험처리나 통제 혹은 추론의 내적 타당성을 포함하지 않는다. 물론 이러한 문제는 실험연구를 제외한 모든 연구방법의 문제이기는 하다.
하지만, 사례연구에서 활용하는 ‘자연적 통제(natural control)’가 통제의 문제점으로 중요하게 다뤄진다. 둘째, 사례연구를 통해 도출된 추론의 질은 연구자의 통찰력에 의하여 좌우된다. 숙련된 연구자는 초보 연구자가 놓칠 수 있는 개념이나 패턴 등을 더 잘 찾아낼 수 있다. 그렇기 때문에 결과물은 때때로 주관적이라고 비평 받기도 한다. 마지막으로, 추론은 연구맥락과 관련이 깊기 때문에 다른 맥락이나 다른 조직에 적용한 추론을 일반화하기 어렵다.
사례연구는 경영 수업에서 배우는 하버드 사례연구와 같은 사례서술(case description)과는 다르다는 점을 명심해야 한다. 사례서술은 전형적으로 학생들 사이에서 토론 및 비판적 사고를 촉진하기 위한 목적을 가지고 조직의 문제와 조직이 어떻게 문제를 해결했는지 상세히 묘사하는 것이라면, 사례연구는 과학적인 방법을 활용하여 조직의 현상에 대한 설명을 도출하기 위한 연구 방법이라 할 수 있다.
사례연구방법은 연구자의 연구 능력을 요구하는 어려운 연구기법이기 때문에 오류를 범하기 쉽다.
벤바사와 그의 동료들은 (Benbasat et al., 1987)8 사례연구에서 자주 발생하는 다섯 가지 문제에 대해 서술하였다. 첫째, 많은 사례연구들이 특정한 연구질문 없이 시작되었기 때문에 그에 따른 특정한 해답을 얻거나 통찰력 있는 추론으로 끝나지 못하는 경향이 있다. 둘째, 사례의 범위는 연구질문에 들어 맞는 것이 선택되기 보다는 종종 접근성과 편리성에 의해 선택이 되기 때문에 연구질문에 적절한 답을 얻지 못할 수 있다. 셋째, 연구자들은 다중평균을 활용하여 수집된 데이터에 대해 측정하지 않아 편향된 인터뷰 대상으로부터의 반응에 대한 편향된 해석이 되는 것이다. 넷째, 많은 연구들은 연구 당시, 어떤 인터뷰 질문이 사용하였는지, 어떤 문서형태로 분석하였는지, 인터뷰 대상의 조직차원의 포지션은 각각 어떻게 구성되었는지 등에 대한 상세한 자료를 제시해주지 않는다.
이것은 수집된 데이터의 신뢰성에 대해 물음을 던지게 된다. 마지막으로, 사례연구가 종단연구로서의 강점에도 불구하고 많은 사례연구들은 현상에 대해 종단적인 방식을 따르지 않고 현재 과정 및 현상에 대한 횡단적이고 제한적인 의견을 나타내기만 한다.