알기 쉬운 연구방법론
[20]
델파이기법이란?
델파이의 기원은 고대 그리스 신전 델파이 (Delphi, 강령술사들이 환각제 증기와 동물 내장 으로 미래를 예언하던 곳)에서 유래했다. 물리적 인 회의 장소에서 대면하는 과정을 없애고 진정 한 논쟁과 개인의 독립성을 최대한 이끌어내기 위한 목적으로 특정 영역의 이슈를 다루는 데 전 문가들의 예측이 비전문가에 비해 정확성이 높을 것이라는 추론하에 설계되었다. 가장 주목할 만 한 점은 누가 설문에 참여하는지 전혀 알 수 없는
‘익명성’이란 시스템이다. 다양한 분야의 전문가 들이 직접 대면하여 의견을 교환하는 상황의 토 론을 진행할 경우, 다수가 강력하게 제기하는 논 쟁과 주장으로 인해 소수가 함구하거나 그들의 의견이 포기될 수 있는 저해요소가 발생할 수 있 으므로 이를 차단하기 위한 방법이다. 특정인의
설득적 주장이나 영향력이 연구에 행사되는 것을 방지하고, 참여자들의 최종 의견들이 모두 동일 한 비중을 지니는 가운데 종합되고, 다음 단계 분 석을 위해 다시 참여자 전체에게 피드백된다. 따 라서 익명성과 피드백이 델파이기법의 가장 중요 한 두 가지 핵심요소다.
델파이기법의 첫 번째 단계로 우선 분야별 전 문가를 선정하여 설문조사에 참가하도록 요청해 야 한다. 여기서 전문가는 특정주제와 연관된 전 문 지식에 대해 긍정적·부정적인 입장을 취하는 전문가들이 골고루 포함되어야 한다. 이 과정에서 선정된 참가자들에게 자신들의 진술에 대해 익명 성을 보장받는다는 점을 확실히 주지시켜야 한다.
두 번째 단계로 선정된 전문가들에게 질문지가 전 달되는데 몇 번의 반복을 거치면서 계속적으로 결 과가 피드백된다. 다른 전문가들과 이견을 가진 전문가들은 이 결과를 보면서 자신의 의견을 재평 알기 쉬운 연구방법론
리얼타임 델파이(Real-time Delphi)기법:
익명성이보장된전문가예측
박경준｜(사)유엔미래포럼 사무국장
른 참여자들에게 소개되면서 반박과 의견 재조정 등이 이루어진다. 마지막 단계에서 모든 논쟁과 의견들이 공개되어 참여자들에게 전달된다.
이와 같이 델파이기법은 통제가 가능한 토론이 라 할 수 있다. 극단적인 의견에 대해서는 논리적 설명과 근거가 필요하고, 이에 대해 감정이 아닌 이성적인 피드백을 받게 된다. 이런 과정을 통해 참여 전문가들은 의견일치를 이루게 된다. 설사 의견일치가 이루어지지 않을 경우에도 다양한 의 견에 대한 논증 역시 투명하다. 설문 의뢰자는 논 거가 제시된 의견들을 참조하고 그들 스스로 전문 지식과 목적에 기반을 두어 판단을 내릴 수 있게 된다.
델파이기법의 경우 응답자의 규모가 비교적 작 기 때문에 통계적으로 중요한 결과를 이끌어내거 나 특정 전문가들의 견해와 예측을 종합해서 나타 낼 뿐 포괄적인 대중의 의견을 대표하지는 않는 다. 델파이기법은 의견일치를 끌어내는 것들과 그 렇지 않은 것들, 이 두 가지 경우를 모두 발생시키 는 데 그 가치가 있다. 극단적 입장 간의 논쟁 역 시 유용한 산물이다.
델파이기법의 장단점
델파이기법의 성공적인 수행을 위해 가장 중요한 부분은 참여 전문가 선정, 세심한 질문선정, 애매
경우도 발생하였으나 인터넷의 발달로 인해 조금 상황이 나아졌다.
델파이기법의 주된 장점은 판단을 요하는 주제 를 냉정하고 객관적으로 검토할 수 있다는 데 있 다. 리얼타임 델파이기법은 특정주제와 연관되어 다양한 분야의 전문가 의견을 취합하여 이를 통해 얻어진 통계적 결과를 가지고 시나리오를 작성하 게 된다. 이와 반대로 더 나은 방법이 존재할 것이 라는 요구에 안이하다는 약점이 있다. 또한 실질 적인 답이 이미 존재하여 최소한의 판단을 필요로 하는 질문들에도 취약하다. 예컨대‘출산과 사망 비율 추세가 지속될 때, 2020년 한국 인구 중 70 세 이상 인구는 얼마나 될 것인가?’와 같은 질문 은 실질적 답이 있는 질문으로 숫자가 추계되어야 하고 실제로 추계도 가능하다. 이런 실질적 답을 가진 질문은 델파이기법에 사용될 수 없다. 현재 인구 추세가 앞으로도 계속될 것인지 아닌지와 같 은 판단에 관한 문제가 델파이에 적당한 질문이 될 수 있다.
또한 델파이기법의 가장 큰 약점은 소요시간이 다. 한 단계를 거치는 데 최소 3주 가량 소요되는 데, 3단계 과정을 거치는 경우 준비 단계에서 분 석에 이르기까지 적어도 3~4개월이 소요된다.
인터넷을 통한 실시간 델파이의 경우 프로젝트 규 모에 따라 다소 차이는 있지만 대략 40일 정도가 소요된다.
알기 쉬운 연구방법론
[20]
의견일치에 대한 점에서 델파이기법은 극단적 인 의견을 가진 전문가로 하여금 다른 전문가들보 다 더 적극적으로 의견을 개진하도록 한다. 자신 의 의견이 부족할 경우 참여자는 의견에 대한 논 거를 쓰기보다는 견해를 바꿀 것이다. 반면 확신 에 찬 의견에 대해서는‘왜’라는 의문의 상태가 된다. 델파이의 핵심 요소는 의견일치를 구하는 데 있는데, 그 이유는 전문가들로 구성된 참여자 들의 의견일치는 일반 개인들이 내놓는 예측보다 훨씬 현실성이 높기 때문이다. 그러나 오늘날 의 견일치에 대한 중요성은 예전보다 많이 감소된 상 태다. 의견불일치를 위한 이유의 구체화는 델파이 기법을 통해 획득한 유용한 결과다. 더 나아가 지 금의 델파이는 전문가의 판단을 종합하는 시스템 적 방법 그 이상도, 그 이하도 아니다. 모든 참여 자들의 전문지식을 모아 특정 관심사에 대한 하나 의 전문적 판단을 만드는 도구다.
리얼타임 델파이(Real-time Delphi)기법
2006년부터 유엔미래포럼의 고문인 테드 고든은
종래 3라운드까지 진행되던 전통적인 델파이기법 의 가장 큰 약점인 연구수행 소요시간을 혁신적으 로 해결해 주는 시스템을 개발하였다. 델파이수행 에 필요한 모든 준비가 완료되면 선정된 참여자들 에게 접속 코드가 부여된 초청장이 온라인으로 발 송된다. 질문지 우편발송, 회수, 분석, 재발송과 같은 다단계 과정의 전달수단이 이제는 단지 컴퓨 터를 켜고‘www.realtimedelphi.com’에 접속만 하면 모든 과정이 실시간으로 처리된다. 참여자의방문 횟수는 제한이 없으며, 참여자수, 평균응답 률, 참고문헌 연결, 서술적 반박 논증 등이 현장에 서 바로 확인 가능하다. 피드백 또한 즉시 이루어 져 참여자 자신의 견해와 다른 참여자 간의 계량 적 답변이 크게 상이할 경우, 이를 알리는 메시지 가 즉시 나타나 참여자는 자신이 몰랐던 새로운 연구자료나 참고문헌, 반박 논증, 해명 등을 확인 해 자신의 답변을 재평가할 수 있다. 이 과정들이 정해진 기간 내에서 실시간 통계로 반복 진행되면 서 연구결과가 좁혀지게 된다.
1. 리얼타임 델파이기법의 한계와 적용 시 유의사항
전통적인 페이퍼 형태의 델파이 설문조사가 인 터넷을 통해 실시간으로 진행되면서 소요시간이 혁신적으로 감소하였으나 인터넷 사용이 원활하 지 않은 국가나 지역의 전문가는 리얼타임 델파 이에 참여하기 곤란한 문제점이 있다. 선정된 전 문가들의 참여도 또한 리얼타임 델파이의 질적 수준에 큰 영향을 미친다. 페이퍼 형태의 델파이 설문조사는 전체 참여 전문가에게 동일한 횟수 의 설문단계와 적극적으로 참여를 독려할 수 있 지만 리얼타임 델파이에서는 참여 횟수와 답변 의 수준이 전문가에게 대부분 자율적으로 맡겨 지기 때문에 동일한 참여 횟수나 성실한 답변 결 과를 기대하기가 사실상 곤란할 수도 있다. 또한 극단적 의견을 가진 전문가들이 적극적으로 참 여하고 그렇지 못한 전문가들이 소극적으로나 불성실하게 답변하는 불균형이 발생할 경우 접 수된 통계적 평균값에 대한 신뢰성이 떨어지는
2. 실시간 델파이조사 과정에 대한 소개
일련의 수치적 질문들을, 예를 들어“제안된 연구 프로젝트의 우선 순위는 얼마인가?”, 포함하고 있는 델파이조사를 생각해 보자. 각 응답자가 진 행 중인 조사에 로그인하게 되면, 그에게는 각각 의 잠재적 연구 프로젝트에 대해 다음 사항들을 포함하고 있는 양식이 화면에 제시된다.
① 응답자가 Linkert 방식과 비슷한 척도로 각 항목의 우선순위에 대한 수치적 예측을 기 입할 공간
② 응답자의 소속 그룹에서 이제까지 접수된 모든 응답의 평균값
③ 이제까지의 응답수
각 질문에 대한 자신의 답을 고려하면서, 응답 자는 다른 사람들이 ④에서 제시한 이유를 참조할 수도 있다. 이런 정보를 고려하면서, 그 응답자는
①에 대한 수치를 입력하고, 컴퓨터가 이를‘저 장’하도록 지시한다. 그룹 평균값과 중앙값은 즉 각 업데이트되어 응답자와 현재 로그인 중인 다른 모든 사람에게 제시된다.
만약 응답자의 응답 수치가, 평균값과 중앙값 으로부터 미리 설정된 특정 거리(distance)를 넘 게 되면, 주의 촉구용(attention-getting) 지시자 (indicator)가 그 질문의 플래그 값(flag)을 설정한 다. 그 플래그의 값이‘up’이면 응답자는 자신의 응답⑤에 대한 이유를 입력하도록 요청받는데, 이 내용이 저장되면‘이유 윈도우’의 한 항목이 되 고, 이후에 그 윈도우④ 를 연 모든 응답자가 이 를 볼 수 있다.
본 조사에서는, 명시 적인 2차 라운드는 없 다. 그 응답자가 이후에 다시 조사에 로그인하 면, 원래의 입력 양식이 그에게 제시된다. 물론, 그 사이에 다른 응답자 들이 자신들의 판단을
<그림 1> 리얼타임 델파이 질문지
알기 쉬운 연구방법론
[20]
입력했을 수 있기 때문에, 평균값이나 중앙값이 바 뀌었을 수도 있다. 또한, 응답자의 마지막 응답 이 후로 그룹의 응답이 충분히 변화되어, 응답자의 이 전 응답 수치가 평균값이나 중앙값으로부터 미리 설정된 거리 밖으로 이동될 수도 있기 때문에, 다 른 질문의 플래그 값이 설정되어 있을 수도 있다.
델파이조사에서 요청되는 익명성과 피드백은 이러한 방식으로 해결되며, 조사과정은 일단 진행 되면 그룹의 응답들과 극단적 응답 수치에 대한 이유들의 분포를 산출하게 된다. 이 과정은 동기 적(synchronous)이거나 비동기적(asynchronous) 일 수 있고, 인터넷 사이트로 구현된다면 전 세계 의 패널들을 포함할 수 있다. 관리자는 마감 시한 (한 시간, 하루, 한 주, 또는 한 달 이후)을 공표하 고 참여자들이 그 시한 이전까지 그 사이트를 방 문하도록 장려할 수 있다. 각 참여자에게는 그들 이 방문했을 때 항상 다시 제시되는 단 하나의 원 양식(original form)이 제시되기 때문에 소위‘부 정 투표(stuffing of the ballot box)’의 우려는 전혀 없다.1)
리얼타임 델파이기법의 적용 사례
1. 연구개요
2007년 5월 대통령자문 교육혁신위원회의 지원
으로 수행된 정책연구인「Real-time Delphi를 이용한 2030년 교육의 변화 예측과 정책의 대응전 략 모색」연구보고서는 2030년의 교육과 학습에 대한 미래의 여러 가능성에 대한 국제적 평가를 보다 바람직한 장기 교육정책 수립에 적용하기 위 해 실시되었다. 2030년의 교육과 학습의 가능성 을 규명하고 이러한 가능성들을 활용하기 위해 무 엇을 해야하는지, 이러한 가능성들을 긍정적이게 하는 것과 더불어 부정적이게 하는 요소들을 고려 하고자 하였다. 전 세계 213명의 전문가들이 리얼 타임 델파이조사에 참여하여 미래교육에 대한 의 견을 토론하고 제시하였다. 이 연구에서는 19가 지의 가능성에 대한 예측이 도출되었다.
① 집단지성(Collective Intelligence) 개선 국가 프로그램(62%)
② 적시(Just-in-time)지식과 학습(71%)
③ 개인(Individualized)학습(64%)
④ 시뮬레이션 활용(70%)
⑤ 불안정한 정신장애자로의 성장을 예방하기 위한 개인학습 과정에 대한 지속적 평가 (43%)
⑥ 개선된 개인영양(63%)
⑦ 지능의 유전학적 개선(39%)
⑧ 글로벌 온라인 시뮬레이션(62%)
⑨ 지식 추구 강화를 위한 대중홍보 활용(71%)
⑩ 휴대용 인공지능 기기(61%)
⑪ 학습과정 규명 및 이를 통한 학습과정 개선
1) 실시간 델파이과정에 대한 완전한 기술은 다음을 참조하라. Gordon, T and Pease, A. 2006. “실시간 델파이: 효율적인‘무라운드(roundless)’준 실시간 델파이조사방법(RT Delphi: An efficient, ‘roundless’almost real time Delphi method)”, 「Technological Forecasting and Social Change」. 73. pp321-333.
알기 쉬운 연구방법론
[20]
전략 개발을 위한 인간 시냅스의 완전한 맵 핑(43%)
⑫ 성인의 두뇌를 더 오랫동안 건강하게 유지 하는 수단(69%)
⑬ 화학적 두뇌 증진(74%)
⑭ 웹 17.0(78%)
⑮ 통합 평생학습시스템(77%)
⒃ 편견과 증오를 없애기 위한 프로그램(45%)
⒔ E-티칭(70%)
⒕ 인간보다 똑똑한 컴퓨터(52%)
⒖ 지능 증진 인공 미생물(30%)
2. 리얼타임 델파이연구의 통찰과 결론
본 연구에서는 미래에 있어서의 교육과 학습 가능 성이라는 주제에 대해 방대한 양의 자료를 다루었 다. 연구에서는 이미 진행 중인 여러 변화에 대한 진부한 지식을 반복하는 일을 피하고자 노력하였 으며, 앞으로 25년 후에 나타날 법한 혁명적인 가 능성들을 밝혀 보고자 하였다. 거의 3백 명에 이 르는 응답자들이 실시간 델파이 질의서에 제시된 질문에 약 3천 개의 답을 제공하였고, 각 가능성 에 대한 촉진 및 저해 요인, 가능성 실현에 따르는 결과에 대한 코멘트는 방대하였다(작은 글자체로 하여도 약 40여 페이지에 이른다). 이러한 서술식 답변에는 다양한 견해들이 표현되어 있지만, 각 가능성의 확률에 대한 수치적 분석은 합리적인 일 치점을 보여 주었다.
웹 17.0, 통합 평생학습시스템, 화학적 두뇌 증 진, 적시 지식과 학습, 지식 추구의 강화를 위한
대중 홍보 활용이 제시된 2030년 미래 교육과 학 습 가능성들 중 가장 실현 가능성이 높은(2030년 의 확률이 70%를 넘는 것) 것으로 판정되었다.
제시된 교육과 학습 가능성들 중 가장 실현 가능 성이 낮은(2030년의 확률이 40% 미만) 것은 지능 의 유전학적 개선과 지능 증진 인공미생물에 대한 가능성이었다.
본 연구에서 논의된 진보들이 모든 학생들에게 가용한 것은 아닌 것이어서 오늘날에는 존재하지 않는 지식과 능력의 격차가 생겨날 가능성이 있 다. 이러한 보편적 가용성의 결여는 비용, 정치적 압력(학계의 정치학을 포함해서) 또는 현존하는 기관들로부터의 반작용 등에서 기인한 것이다. 몇 몇 정치 체제에서는 새로운 교육 능력을 자신들의 권력에 대한 위협으로 간주할 수 있기 때문에, 세 계 여러 곳에서 현존하는 체제, 이념 및 신념 구조 를 영속화하기 위해 이러한 기술들 중 몇몇을 불 법화하거나 왜곡하리라 예상할 수 있다. 학습을 증진하는 약품의 등장은 약품 경쟁을 초래하고 이 렇게 중요한 상품에 대가를 청구하는 데 있어 분 배와 윤리에 대한 의문을 제기하게 될 것이다. 여 기에서 논의된 몇몇 기술은 이민자의 흡수를 촉진 하기 위한 도구로 활용될 수 있을 것이다.
지능에 대한 국제경쟁이 일어날 가능성이 있 다. 집단지성으로의 전이는 대규모 온라인 협업, 오픈소스 소프트웨어, 지식창조 커뮤니티, 통상 개인에 대한 명시적인 재정적 보상이나 인센티브 가 없이 이루어지는 학습 자원의 사회적 공유(예:
위키피디아, 유튜브, 마이스페이스, 페이스북, 세 컨드라이프) 등이 보여 주듯이 이미 진행 중인 것
개발을 초래할 수 있으며, 교육 부문에서도 그러 하다. 예를 들어, 휴대용 인공지능 기기의 등장은 개인으로서의 자신을 보호하기 위해 휴대용‘안 티 인공지능 기기(anti-artificial intelligence
devices)’
를 개발하려는 경쟁을 촉발할 수 있다.지능의 개선은 나쁜 사람조차도 더 똑똑하게 만들 것이다. 새로운 교육용 기술을 확보하기 위 해‘트리클다운(trickle down)’전략이 활용될 수 있을 것이다. 예를 들어 한 응답자는, “데이터와 시뮬레이션의 표준 포맷으로… 자연 과학에서 사 용하는 시뮬레이션을 단순화(cut-down)시킨 버전 의 시뮬레이션을 교육에서 활용할 수 있을 것이 다”라고 하였다. 아마도 비슷한 애플리케이션을 군대나 기업에서 찾아 볼 수도 있을 것이다. 교수 (teaching)가 온라인으로 이루어지게 되면, 커리 큘럼과 정보에 대한 컴퓨터해킹이 문제점으로 대 두될 것이다.
적시 정보는 이에 접근할 수 있는 모두를 전문 가로 보이도록 할 수 있어 참된 전문가는 찾기가 어려워질 것이며, 새로운 의미를 가지게 될 것이 다. 영양(nutrition)은 인식 능력 증진 약품에 비해
‘자연스럽기’때문에, 여러 사람들에게 받아들여 지기가 쉬울 것이다. 문화적 차이로, 어떤 국가는 지능을 개선하는 기술과 수단을 받아들이겠지만, 또 다른 나라는 문화적 금기나 신앙에 기반해 이 를 거부할 수도 있다.
적·사회적 결과를 초래할 수 있다. 커리큘럼을 변경하려는 시도는, 이러한 변화를 추진하는 이념 에 대한 의문을 불러일으킬 수밖에 없을 것이다.
본 리얼타임 델파이에서는, 응답자들 사이에서 의 일치의 수준과 고려된 항목들의 확률 사이에는 특징적인 관계가 존재하는 것으로 보인다. 극단적 인 확률을 가지는 항목들에서는 일치 수준이 높았 으며, 중간 확률을 가지는 항목들에서는 낮았다.
여러 사람들이 접근 암호를 분실하여, 이를 요청 하는 전자 메일을 관리자에게 보내기도 했다. 한 두 사람 정도만이 시스템의 사용에서 어려움을 나 타내었고, 한 경우에는 밖으로 나가는 메시지를 차단하는 소속 회사의 파이어 월(firewall)로 인한 문제로 밝혀지기도 했다.
참고문헌
박영숙·제롬 글렌·테드 고든. 2007. 「전략적 사고를 위한 미래예측」. 교 보문고.
제롬 글렌 외. 2007.“Real-time delphi를 이용한 2030년 교육의 변화 예측과 정책의 대응전략 모색”. 대통령자문 교육혁신위원회.
