사회·기술시스템 전환의 관리 : 성찰적 모니터링·평가

사회·기술시스템 전환의 관리 : 성찰적 모니터링·평가

김미 ¹ , 성지은 ²

STEPI Working Paper는 진행 중인 「사회문제 해결을 위한 사용자 참여형 혁신 활성화 방안」(연구책임자: 송위진) 연구의 중간 성과물로서 완성된 연구결과가 아니며, 인용 및 게재 시 Working Paper임을 밝혀야 합니다. 또 본 연구에서 제시된 주장은 STEPI의 공식 입장이 아닌 연구자의 의견입니다.

1 한국과학기술기획평가원 R&D평가센터 부연구위원 2 과학기술정책연구원 연구위원

목 차

I. 연구배경 및 목적 ···1

II. 사회·기술시스템 전환에서 모니터링과 평가의 의의 ···2

III. 성찰적 모니터링의 이해와 적용 사례 ···4

1. 성찰적 모니터링의 개념과 특징 ···4

2. 성찰적 모니터링을 위한 도구 및 적용 사례 ···5

Ⅳ. 지식시스템평가의 이해 ···15

1. 지식시스템평가의 개념과 특징 ···15

2. 지식시스템평가 방법 및 측정 변수 ···16

V. 교훈과 적용 가능성 ···18

참고문헌 ···20

표 목 차

<표 1> 세 접근방식의 특징 ···4

<표 2> 성찰적 모니터링의 활동 및 내용 ···5

<표 3> 행위자 분석 매트릭스 ···9

<표 4> 효과지표 ···12

<표 5> 과정지표 ···12

<표 6> 평가 접근법들 비교 ···16

그림목차

[그림 2] 인과나무의 기본모듈 ···10

[그림 3] ASPE의 개념적 프레임워크 ···16

I. 연구배경 및 목적

어떤 특정 문제만을 해결하고자 하는 접근으로는, 그 문제의 해결이 오히려 또 다른 문제를 발생시 키는 상황을 만들 수 있다. 예를 들어 축산업 분야에서 공기정화를 강조하여 이를 해결하는 시스템을 만들면 유해물질의 배출량은 줄일 수 있지만 농장의 에너지 소비는 오히려 증가한다.

지속가능한 발전이 강조하는 것은 단일 문제의 해결만이 아니라 사회적 측면과 제도적 관점에서의 총체적인 변화를 가져오는 것이다. 이를 위해서는 새로운 주체의 참여와 참여자들 사이의 관계 변화가 선행되어야 하며 이를 시스템 혁신이라 한다(Elzen and Wieczorek, 2005). 사회·기술시스템론은 장 기간에 걸쳐 시스템 혁신 과정을 시야에 두면서 새로운 사회·기술시스템으로의 전환을 이끌어내기 위 한 연구로, 현 시스템의 속성을 변형하기 위한 근본적인 시스템 혁신과 전환을 지향한다(Kemp &

Rotmans, 2001; 송위진, 2012). 시스템 수준에서의 이러한 변화는 기존의 행위들을 더 잘 하고자 하는 것을 의미하는 시스템 개선과는 차별되며, 그 진행과정에서 바람직한 경로를 취하고 있는지에 대한 반성을 이끌어낸다(van Mierlo et al., 2010a).

그러나 사회·기술시스템 전환의 대부분은 계획한 대로 실행되지 않으며, 전환 과정에는 저항이 뒤따 르므로 전환 프로젝트의 관리자들은 여러 문제점에 직면하게 된다. 관리자들이 전환 프로젝트를 추진 하면서 겪게 되는 첫 번째 문제는 결과가 미리 정의되어 있지 않다는 점이다. 프로젝트의 결과는 진행 중에 일어나는 모든 사건 사이의 상호작용에 영향을 받으며, 그 사이에 명확한 인과관계는 밝혀내기 어렵다. 전환 프로젝트는 사전에 계획한 대로만 추진되는 것이 아니라 그것에 대한 끊임없는 관찰과 성찰을 반복하면서 변경된다. 이러한 과정은, 계획을 그대로 수행하는 것에만 익숙해져 있는 관리자들 에게는 쉬운 일이 아니다. 또한 관리자들과 마찬가지로 사전에 계획된 상황에 익숙해져 있는 프로젝트 참여자들을 아우르는 것도 관리자가 해결해야 할 문제이다.

두 번째 문제점은 문제의 정의, 연구방법, 해결책 등도 언제든지 바뀔 수 있다는 점이다. 관리자는 프로 젝트 참여자들과 외부 활동가들의 상호작용으로 인한 이러한 변화에 대해 유연하게 대처할 수 있어야 한다.

이러한 불확실하고 복잡한 상황에서 프로젝트 관리자가 같은 목표를 꾸준히 유지하는 것은 불가능 에 가깝다. 따라서 프로젝트의 장기적인 효과와 그것을 달성하기 위한 구체적인 활동 간의 관계에 대 한 인식을 바탕으로 한 성찰 및 전환이 요구된다. 이러한 특성으로 인해 전환 프로젝트에서는 사전에 결정된 목표를 기준으로 달성정도를 확인하는 기존의 평가 방식보다는, 과정에 대한 관심과 성찰에 초점을 맞춘 모니터링 및 평가 방식이 적합하다.

성찰적 모니터링(reflexive process monitoring: RPM)은 이러한 프로젝트 과정에 대한 성찰에 기반을 둔 대표적인 모니터링·평가 방법으로, 전환 프로젝트에 있어 관리자가 겪게 되는 여러 문제점을 해결 할 수 있는 구체적인 방법들을 제시한다. 또한 지식시스템평가(applied systemic programme evaluation: ASPE)는 전환 프로젝트의 효과성을 평가하기 위한 방법으로, 사전에 설정된 목표를 계량 화 시키고 그것의 양적 달성도를 측정하는 전통적인 평가 방법과는 달리, 프로젝트 수용성을 강조한다 는 측면에서 전환 프로젝트의 과정에 대한 평가를 가능하게 한다.

본 연구에서는 사회·기술시스템 전환에서의 모니터링과 평가의 의의에 대한 고찰로부터, 성찰적 모 니터링과 지식시스템평가의 개념과 특징, 적용사례에 대해 살펴보고자 한다. 우선 2장에서는 성찰적 모니터링·평가 방식을 결과지향적 모니터링·평가와 같은 전통적인 접근방식 및 구성주의적 접근방식 과 비교함으로써, 사회·기술 시스템 전환에서의 의의를 도출하고자 한다. 3장에서는 성찰적 모니터링 의 개념과 특징을 정리하고, 성찰적 모니터링에 활용할 수 있는 여러 도구 및 적용사례를 소개하고자 한다. 프로젝트 관찰자의 입장에서 활용할 수 있는 구체적인 도구들의 강점 및 활용방법에 대해 소개 함으로써 각 상황마다 적합한 도구를 선택하여 사용할 수 있도록 하는 데에 목적이 있다. 4장에서는 프로젝트의 효과성을 측정하기 위한 방법으로 지식시스템평가의 개념 및 측정 변수를 소개하고 있으 며, 마지막으로 5장에서는 성찰적 모니터링과 지식시스템평가의 차별점에 대해 논의하고 그로부터 정 책적 시사점을 도출해보고자 한다.

이를 통해 전환 프로젝트의 과정에 대한 성찰과 학습, 그리고 그 결과로 나타나는 프로젝트의 효과 성을 파악할 수 있는 전반적인 모니터링 및 평가에 대한 이해를 돕는 데에 본 연구의 목적이 있다.

II. 사회·기술시스템 전환에서 모니터링과 평가의 의의

모니터링(정보 확보 및 문서화)과 평가(정보의 구성과 심사)는 전환 프로그램의 의사결정 과정에서 주요 근거가 되며, 참여자들을 학습시키는 중요한 역할을 한다. 따라서 모니터링·평가는 전환에 대한 학문적 담론의 핵심 요인 중 하나라 할 수 있다.

아래의 그림은 ‘전환 관리 주기’를 나타내며, 각각의 연속적인 나선형은 프로젝트의 단계가 모니터 링과 평가에 의하여 성숙되어 가는 동시에, 환경과 상호작용하는 것을 나타낸다.

[그림 1] 전환 관리 주기 및 모니터링·평가

자료: Loorbach and Rotmans(2010) and Nevens etal.(s.d.)(Bussels, M. et. al(2013) 재인용)

전환 프로젝트의 특성상 모니터링과 평가는 프로젝트에 대한 성찰에 초점을 맞추게 된다. 프로젝트 관리자와 참여자들이 익숙한 사고와 행동 패턴으로 돌아가지 않도록 끊임없이 자극하는 역할을 담당 한다.

전환 프로젝트의 모니터링은; (1) 지속가능한 발전의 목표 달성을 위해서는 장기적인 호흡으로 접근 해야 한다는 시각에 기반하여, 유연하고 가변적인 성격의 목표에 대한 계획, 활동, 개입을 조정해야 하며, (2) 프로젝트 참여자들과 외부 활동가들의 가치․관행에 대한 성찰을 통해 집단 학습을 이끌어내 야 한다. 또한 (3) 지속가능한 발전에 기여하는 프로젝트의 과정에 대한 성찰과 학습을 통해 일련의 제도적 변화를 일으키는 역할을 해야 한다.

이러한 역할을 수행하는 시스템 전환의 모니터링은 목표와 주요 관점 측면에서 결과지향적 모니터 링·평가와 같은 전통적인 접근방식과는 큰 차이를 보인다.

결과지향적 모니터링·평가는 효율성을 강조하며 미리 정의된 목표에 부합하는 결과가 도출됐는지를 평가한다. 이 모니터링과 평가는 프로젝트에 개입함으로써 의도된 결과를 도출할 수 있다는 LogFrames(IFAD, 2006), Logic Chart, 변화 이론(theory of change, Grantcraft, 2006;

Anderson, 2005) 등에 기반을 둔다. 이러한 평가방식은 명확하게 정의된 목표달성을 위하여 일련의 계획 하에 추진되는 프로젝트에는 적절하나, 프로젝트 참여자들의 협의를 통해 목표와 계획을 정의하 고 조정하는 프로젝트에는 적합하지 않으며 공동학습이 이루어질 가능성도 낮다. 그러나 결과지향적 평가방식의 논리적 사고는 프로젝트 관리자로 하여금 기대하는 목표와 그 목표달성을 위해 활용할 수 있는 방법이 무엇인지를 보다 명확히 설명할 수 있도록 한다는 점에서 중요한 강점도 가지고 있다.

논리적 사고는 시스템 전환에 초점을 둔 프로젝트 과정에서도 매우 중요하며 모니터링과 평가의 개입 논리를 명백히 하는 데에 활용될 수 있다.

반면 구성주의적 모니터링·평가는 공동학습과 경험 공유를 매우 강조하며, 참여자들이 공동으로 의 제를 결정하고 이 과정에서 함께 학습해 가는 것이 목표이다. 4세대 평가(Guba and Lincoln, 1989), learning histories(Kleiner and Roth, 1996), 대응적 평가(Stake, 1983), MSC(most significant change) 방법 등이 구성주의적 관점의 평가 방식이라고 할 수 있다(Davies and Dart, 2005; Dart, 2005).

구성주의 모니터링의 강점은 프로젝트나 네트워크 간의 관계를 강화하고 새로운 통찰력을 제공하는 인식의 공유에 있다. 목표가 고정된 것이 아니라 여러 상황에 의해 변화할 수 있다는 기본 개념은 지속 가능한 발전의 불확실한 속성과도 부합한다. 그러나 구성주의는 ‘현재의 방법’에 대한 모니터링과 논 의를 위한 것으로 결국 기존 관점의 일부분이라고 할 수 있다.

최근에는 구성주의를 기반으로 한 성찰적 모니터링·평가가 주목받고 있다(Grin and Weterings, 2005; van Mierlo et al., 2007; Regeer, 2009a). 이 접근 방식은 특히 시스템 전환 프로젝트에 적합한데, 프로젝트 활동들이 기존의 방식을 변화시킴에 따라 달라지는 제도를 고려한다.

또한 프로젝트 참여자들은 프로젝트와 시스템 간의 관계, 단기 결과들과 장기적 목표 간의 관계에 대한 성찰의 과정에서 여러 의견을 교환하고 학습할 수 있다. 이렇듯 성찰에 초점을 맞춘 방식들은 성찰적인 과정 모니터링(Reflexive Process Monitoring: RPM, van Mierlo et al., 2007)과 상호작

용적 학습 접근법(the Interactive Learning Approach, Regeer et al., 2009b) 등으로 발전됐다.

성찰적 모니터링 방법은 구성주의를 기반으로 하지만, 기존의 구성주의적 방법보다는 훨씬 정교해 장 기목표와 과정, 프로젝트 접근법 측면에서 보다 명확한 기준을 제시한다.

<표 1> 세 접근방식의 특징

구분 결과지향적 구성주의적 성찰적

목표 책임과 조정 학습과 활동조정 시스템 혁신에 기여하는

방법의 학습

패러다임 현실은 객관적으로

정의 할 수 있음

현실은 상호 작용과 협상에

의해 구성되어있음 새로운 현실로 전환되어야 함 자료: Arkesteijn et al.(2007), van Mierlo et al.(2010b)

III. 성찰적 모니터링의 이해와 적용 사례

1. 성찰적 모니터링의 개념과 특징

미래는 예상대로 만들어지지 않는다. 프로젝트의 진행 과정 중 갑자기 예산이 확보되지 않거나 관계 집단의 이해가 상충되어 갈등을 겪게 되는 등 예상치 못한 상황에 직면하기도 한다. 따라서 시스템 혁신을 위한 프로젝트 전략들은 처음부터 확정되는 것이 아니라 상황에 따라 조정되는 경향이 있으며, 최종 목표 또한 프로젝트 과정 중에 종종 바뀐다. 이를 평가하기 위해 미리 정의된 목표에 기반을 둔 평가 데이터를 수집하는 것은 의미가 없을 수도 있다는 관점에서 제안된 것이 성찰적 모니터링이다.

참여자들은 프로젝트 수행 중에 접하게 되는 여러 문제들에 대한 공동의 해결책을 모색해가면서 그 해결 방법을 함께 도출한다. 이러한 과정을 통해 참여자들은 창조적인 방법으로 프로젝트에 참여할 수 있다.

시스템 전환을 위한 프로젝트의 목표나 전략이 계속 변화하는 것처럼, 성찰적 모니터링 또한 추진 과정 중에 전략이 계속 변화하게 된다. 따라서 모니터링 과정에 구조화된 방법론이나 정해진 절차가 없는 것이 큰 특징이다. 모니터링의 주체인 관찰자는 프로젝트 참여자가 될 수도 있고, 제3자일 수도 있는데, 끊임없이 프로젝트에 개입하며 대상자들에게 프로젝트의 방향을 성찰하도록 독려하는 것이 주된 역할이다. 시스템 전환을 위한 성찰적 모니터링은 프로젝트의 초기단계에서 가장 효과적이며, 이 경우 모니터링 활동 자체가 프로젝트에 자연스럽게 포함될 수 있다.

성찰적 모니터링은 프로젝트의 전개를 심층적으로 이해하는 참여적 과정으로 사회․기술체제, 거시환 경과 관련하여 프로젝트의 의도한 효과와 의도하지 않은 효과를 이해할 수 있게 해 준다. (과학기술정 책연구원 사회혁신팀, 2014). 이러한 성찰적 모니터링은 관찰과 분석, 성찰, 적응이라는 일련의 활동 을 포함하게 되는데, 다음의 <표 2>에서 각 활동의 구체적인 내용이 제시된다.

활동 내용

① 관찰․분석

- 집단 과정분석: 네트워크 내부와 네트워크 사이의 상호작용 대상

- 물리적, 사회․기술적 시스템과 내부 관계분석: 기술혁신시스템(TIS) 방법론 사용 - 프로젝트가 네트워크와 물리적 시스템에 미치는 영향

- 거시환경의 전개상황, 사회․기술체제와 내재하는 장애물

② 성찰

: 관찰과 분석결과에 대한 비판적 성찰 수행

- 관찰․분석 결과가 시스템 혁신 프로젝트에 주는 의미는 무엇인가?

- 프로젝트가 어떤 상황을 이용할 수 있는가?

- 상황이 어떻게 전개되어야 프로젝트가 강화될 수 있는가?

- 구조적 장애물은 불가피한 것인가, 아니면 방해하는 제도나 하부구조를 창조적으로 변화시킬 수 있는가?

→ 이 과정은 참여자들이 자신의 이론적 원칙과 가치, 인지 모델에 대해서 비판적으로 성찰할 것을 요구

③ 적응 - 성찰의 결과로 프로젝트의 목적․목표, 집단․전략이나 활동이 수정될 수 있음. 또한 후속 프로젝트의 개발이 요구되기도 함

<표 2> 성찰적 모니터링의 활동 및 내용

자료: 과학기술정책연구원 사회혁신팀(2014)

2. 성찰적 모니터링을 위한 도구 및 적용 사례³⁾

앞서 논의된 바와 같이, 전환 프로젝트를 위한 모니터링과 평가활동은 각 프로젝트의 상황에 맞게 조정되어야 하기 때문에 일반적인 평가 항목이나 지표를 제시하는 것은 어렵다. 다만 성찰적 모니터링 에 활용할 수 있는 여러 방법들을 학습하여 다양한 프로젝트 상황에 적합한 모니터링과 평가활동을 수행할 수 있을 것이다.

본 장에서는 관찰자의 입장에서 활용할 수 있는 6개의 도구에 대해 소개하고자 한다. 6개의 도구는

① 시스템 분석, ② 행위자 및 원인 분석, ③ 역동적인 학습의제, ④ 지표 세트, ⑤ 성찰 과정 작성,

⑥ 시청각 학습 이력으로, 이는 프로젝트 과정에서의 행위에 대한 관찰, 분석, 성찰, 조정의 전 주기에 걸쳐 사용될 수 있다.

여기에서 제안되는 6개의 도구들이 모두 성찰적 모니터링에 맞게 특별히 개발된 것은 아니다. 행위 자 및 원인 분석이나 시청각 학습 이력의 경우는 이미 존재했던 도구들이지만 성찰적 모니터링의 효과 적인 도구로 사용될 수 있도록 일부 수정되었다(Kleiner and Roth, 1996; Kleiner and Roth, 1997; KWF, 2008).

각 도구들은 프로젝트가 처한 환경이나 특성에 따라 선택적으로 사용될 수 있으며, 각 도구의 효용 성과 차별점에 따라 적합한 도구를 선택하는 것이 중요하다. 또한 관찰자의 역할을 프로젝트의 참여자 혹은 관리자가 할 것인지, 외부의 제 3자가 할 것인지도 프로젝트의 상황에 맞게 선택해야 한다.

3) 이 절은 Mierlo et al(2010b)을 바탕으로 정리한 것이다.

가. 시스템 분석

프로젝트 설계가 한창 진행 중이고, 관리자나 관찰자 입장에서 프로젝트에 영향을 끼치는 고질적인 문제의 원인을 파악하고자 하며, 시스템 전환에 필요한 활동이 무엇인지를 알기 원한다면 ‘시스템 분 석’이 적합한 도구가 될 수 있다. 시스템 분석은 지속 가능한 시스템으로의 변화를 방해하는 장애요인 이나 행위자들이 있는 경우에 유용하다. 그러나 프로젝트 참여자가 이미 기존의 시스템을 문제로 인식 하고 있으며, 지속 가능한 시스템으로 전환하기를 원하는 상황이라면 시스템 분석은 부수적인 도구로 쓰이는 것이 적합하다.

관찰자는 프로젝트 참여자들을 대상으로 하는 인터뷰나 토론, 공동 워크숍 등에서 시스템 분석을 할 수 있다. 모든 참여자들과 함께하는 공동 분석은 참여자들의 수용도가 높으며 참여자들 각자는 장 애요인과 기회요인에 대한 의견을 공유할 수 있다는 장점이 있다. 이를 통해 장애를 해결하고 기회들 을 최대한 활용할 수 있을 것이다. 집단 분석을 위해, 관찰자는 시스템 특성에 대한 매트릭스를 만든 다. 참여자들은 매트릭스에 장애요인과 기회요인을 표시하고 그것에 대해 토론을 하게 되며, 마지막으 로 분석 결과가 함의하는 바가 무엇인지에 대해 논의한다. 공동 분석은 반나절 정도 걸리며, 경험이 풍부한 진행자가 토론의 방향만 잘 잡아갈 수 있다면 10~15명 정도의 큰 그룹에서도 할 수 있다.

시스템 분석은 네 단계로 이루어져 있으며 그 세부 사항은 다음과 같다. 첫째, 프로젝트의 특성에 맞게 시스템 분석 매트릭스를 작성한다. 수직 열은 시스템 성격들로, 가로 행은 시스템의 장애요인이 나 기회요인이 되는 구조로 구성한다.

매트릭스가 준비됐다면, 시스템 장애요인 및 기회요인 목록 작성을 위한 인터뷰나 워크숍 등을 시작 할 수 있다. 인터뷰나 워크숍은 두 개의 핵심적인 질문으로 시작할 수 있는데, 첫 번째 질문은 ‘현재의 시스템이 지속가능하지 않은 원인은 무엇인가?’, 두 번째 질문은 ‘내·외부 시스템의 어떠한 변화가 프 로젝트를 성공적으로 이끌 수 있는가?’ 이다. 이러한 질문을 워크숍 참여자들에게 한 뒤 시스템의 ‘장 애(barriers)’와 ‘기회(opportunities)’ 요인들을 포스트잇에 쓰도록 요구한다.

다음은 장애와 기회의 분석단계이다. 준비된 매트릭스를 벽에 붙이고 간략히 설명한 후에, 참여자들 이 작성한 장애와 기회요인을 적절한 위치에 찾아 붙이도록 한다. 그리고 왜 각각의 요인들을 해당 위치에 붙였는지를 자세히 설명하게 한다. 이러한 경험을 통해 참여자들은 서로가 특정 요인을 장애로 보는 이유 등에 대해 성찰하게 된다.

이때 근본적인 장애가 아니라 증상들이 제시된 경우, 가장 근본적인 장애요인이 파악될 때까지 보다 깊은 질문을 던지면서 논의한다. ‘진짜’ 장애가 파악되면 증상 포스트잇을 떼어내고 그 자리에 장애 포스트잇을 붙인다.

온실원예 사례 연구에 시스템 분석을 활용할 경우, 참여자들은 농부들이 화학물질의 유해성을 잘 모르고 있거나 그에 따른 영향에 관심이 없다는 ‘증상’을 제시할 수 있다. 그렇다면 왜 그런지에 대한 질문을 던져야 한다. 유해성에 대한 사전 연구가 이루어지지 않아 정보가 제공되고 있지 않은 것이라 면 왜 연구가 이루어지지 않았는지, 예산이 부족해서 연구가 이루어지지 않았다면 예산이 할당되지 않은 이유는 무엇인지에 대해 물을 수 있다.

< 온실 원예에서의 오염물질 배출량 감소 사례 >

RIZA(내륙 물 관리 및 폐수 처리 연구소)는 온실 원예의 친환경적 이미지를 바꿔놓았다. 2005년 ‘온실 원예에서 작물 보호 제품의 배출’이란 보고서를 통해 많은 양의 활성 화학물질이 관찰되는 등 온실 원예 지역의 수질에 대한 문제를 지적했다.

이러한 논의는 ‘미래의 농업’이란 시범적 네트워크를 통해 ‘온실 원예에서의 오염물질 배출량 감소 프로 젝트’를 시작하게 만들었다. 프로젝트 팀은 누가 참여해야 하고 어떤 활동을 해야 하는지에 대해 계획했으며, 시스템 장애와 기회요인을 도출하기 위한 시스템 분석을 수행했다.

시스템 분석을 위해 참여자들과의 인터뷰를 통하여 현 시스템에서 시급하게 해결해야 할 문제가 있다고 생각하는지, 그리고 그들이 생각하는 가능한 해결책은 무엇인지를 찾아내고자 하였다. 프로젝트 팀 구성원 들은 관찰자의 안내에 따라 서로에게 장애와 기회의 주요 원인에 대해 매우 날카롭게 질문했다. 이로써 프 로젝트 팀은 문제의 근본적인 원인을 도출해 내기 시작했다.

분석 결과 시스템의 장애 및 기회요인이 보다 분명해졌다. 화학적 혼합물과 미네랄 배출량 측정 권한을 가진 사람이 없다는 것과 누가 그것을 할 수 있는지에 대한 정보가 없다는 것이 대표적 문제였다. 이것은 방출의 범위 등에 대해 거의 알려진 것이 없다는 의미이기도 하며, 수자원공사가 화학물질의 생산자나 농민 들과 거의 접촉하지 않았다는 것을 나타낸다. 기회요인으로는 시장에서 친환경적인 제품에 대한 수요가 증 가하고 있다는 것으로, 이것은 농민들에게 동기부여를 해줄만한 것이었다.

이러한 분석 결과를 통해 전환 프로젝트의 계획에 힘이 실려, 수자원공사, 제초제와 농약 제조업체, 농민 들이 참여하는 전환 프로젝트가 시도되었다.

< 시스템 분석 예시 >

저공해 온실 원예 프로젝트의 최종 선택에 앞서, 프로젝트 팀은 시스템 분석을 수행했다. 관찰자의 지도하에 진행된 시스템 분석을 통해서 참여자들은 시스템 장애요인과 기회요인에 대해 알 수 있었다.

아래 그림의 녹색 타원(진한색)은 저배출 온실 재배의 기회를, 노랑 타원(흐린색)은 장애를 나타내며, 가까이에 위치한 기회와 장애요인들의 공통된 속성은 흰색 박스에 제시됐다. 화살표는 장애와 기회 관찰자는 참여자들과 함께 장애에 대한 분석 결과를 보며 모든 요인들이 도출됐는지, 포스트잇이 올바른 자리에 붙었는지를 다시 한 번 확인한다.

이어 참여자들을 한사람씩 다시 나오게 해서 장애 포스트잇과는 다른 색의 기회 포스트잇을 붙이게 한다. 그들이 이미 많은 양의 지식을 가지고 있다면 그 지식을 어디서 얻었는지를 묻고, 충분한 연구가 선행됐다면 어떻게 그럴 수 있었는지를 묻는다. 그리고 기회 분석이 완료됐는지를 확인한다.

이때 관찰자는 장애나 기회 요인을 추가할 수 있다. 서로가 다른 관점을 가지고 있기 때문에 참여자 들이 깨닫지 못한 요인을 제시할 수도 있을 것이다. 마지막으로 장애와 기회 사이에 어떤 관계가 있는 지에 대해 참여자들과 함께 논의한다.

시스템 분석의 마지막 단계는, 분석 활동이 프로젝트를 위해 어떤 의미를 갖는지에 대한 성찰이다.

필수적인 기회의 획득과 장애의 극복을 고민하고, 참여자를 모색하며, 확인된 장애와 기회는 어떻게 상호작용 할 수 있는지 등에 대해 성찰할 수 있다.

사이의 관계를 상징한다. 빗금처진 타원은 프로젝트 팀이 제안한 활동 영역이다. 예를 들어, “유해물의 배출경로와 배출량을 조사하기 위해 수자원공사가 지역 측정 프로그램 수행해야 한다”는 것이 프로젝트 팀의 제안이다. 또한 “부족한 상호작용과 관련해서, 관련된 모든 행위자들을 대상으로 정기적인 모임이 필요하다”는 제안도 있었다.

자료: van Mierlo et al.(2010b)

나. 행위자 및 원인 분석

프로젝트 참여자 중 자신의 역할에 대해 충분히 인지하고 있는 사람은 많지 않다. 조력자의 역할만 을 수행하면 된다고 생각한다거나, 대개 팀 차원의 움직임이 있을 때만 참여를 하는 것 정도를 자신의 역할이라고 여긴다. 때문에 토론이나 개선점 도출은 자신의 경험이나 전문지식에 대해 발언을 많이 하는 사람에 의하여 주도되곤 한다. 이러한 상황에서는 참여자들이 시스템 전환 프로젝트의 비전을 공유할 수 없다.

행위자 분석과 원인 분석은 이러한 상황을 개선하기 위해 필요하다. 행위자는 프로젝트의 관리자나 참여자, 그리고 관찰자 뿐 아니라 프로젝트와 관계되어 있는 이해관계자를 포괄적으로 지칭하는데, 행 위자 분석을 통해서는 시스템 내부 및 외부 행위자들의 역할을 파악할 수 있다. 또한 원인 분석은 프로 젝트를 방해하는 요인들에 대한 통찰력을 가질 수 있도록 돕는다. 특히 팀 안에서 프로젝트 참여자와

함께 분석을 하면 이러한 통찰을 공유할 수 있고 이를 통해 학습 효과도 얻을 수 있다.

행위자 분석은 행위자를 집단의 규모와 입장에 따라 구분한 매트릭스를 그리는 것에서부터 시작된다.

큰 종이에 <표 3>과 같이, 행위자를 개인과 니치-기관-정부차원으로 나누고, 행위자의 입장은 지지-중 립-반대로 나누어 그린다. 참여자들은 충분한 시간을 가지고 자유롭게 상의하면서 행위자들의 이름을 포스트잇에 써서 매트릭스에 붙인다.

<표 3> 행위자 분석 매트릭스

지지 중립 반대

정부

기관

개인과 니치

자료: van Mierlo et al.(2010b)

다음은 각 행위자들이 프로젝트의 결과로 혜택을 보는지, 피해를 보는지, 혹은 의미 있는 영향을 받지 못하게 될지에 대해 포스트잇에 쓰고 해당하는 매트릭스 칸에 각 포스트잇을 붙인다. 참여자들은 포스트잇을 붙이는 과정에서 다른 참여자들도 그 자리에 붙이는 것을 동의하는지에 대해 충분히 토의 해야 한다. 모든 사람들이 포스트잇을 붙이고 나면 결과에 대해 성찰한다. 사람들은 보통 기관과 정부 의 역할이 거의 없다고 생각하기 때문에 아마도 기관과 정부에 해당하는 칸은 밀도가 낮을 것이다.

이렇게 특정 칸의 밀도가 낮다면 그 이유에 대해 토론한다.

이제 관찰자들은 참여자들이 프로그램 과정 자체에 대해 생각하도록 유도한다. 참여자들이 매트릭 스 상에 위치시킨 어느 행위자가 이미 프로젝트에 밀접하게 참여하고 있는지, 프로젝트의 진행을 방해 하고 있는지, 혹은 프로젝트 완료 후에 지속적인 이행을 방해할 것인지에 대해 토론한다. 관찰자들은 각각의 행위자들에 칼라 펜으로 동그라미를 그려 구분한다. 다음은 이렇게 동그라미가 그려진 행위자 들 간의 관계에 대한 토론을 유도한다. 참여자들은 자금의 흐름, 의사결정 등 권력의 통제 방향, 정보 유입의 방향 등에 대해 토론하고 그 결과를 화살표로 표시한다.

이렇게 행위자 분석이 완료되면, 프로젝트 팀에서는 어떤 행위자들을 추가로 프로젝트에 참여시켜 야 하는지, 어떤 집단을 대상으로 네트워크를 확장시키고, 중요한 행사에 누구를 초대해야 하는지 등 을 결정하는 데에 그 결과를 활용할 수 있다. 이렇게 확보된 네트워크 정보를 통해 네크워크를 늘 최신 으로 유지하고, 프로젝트에서 새로운 견인 역할을 하는 행위자에 대해 신속히 대응하는 것은 매우 중 요하다.

이어지는 인과관계 분석은 프로젝트를 방해하는 중심 문제를 제시하는 것으로 시작된다. 참여자들 은 포스트잇을 한 뭉치씩 나누어 받아, 아래 [그림 2]와 같이 A4용지에 붙인다. 이렇게 계층화된 포스 트잇에는 일반적인 문제와, 그것의 근본 원인을 키워드로 적는다. 관찰자는 개별 참여자들이 최상위

원인(P1)이라고 쓴 포스트잇들을 한 곳에 모은다. 이것이 중심문제이다. 그 아래에는 첫 번째 원인, 그리고 그 아래에는 첫 번째 원인에 대한 원인을 순서대로 붙인다. 여러 참여자들의 의견을 종합하면 서 비슷한 내용은 하나로 통합될 수 있고, 인과관계의 순서나 계층이 바뀌기도 한다. 이렇게 종합된 합의를 보면서 각 인과관계 사이에 중간 단계를 추가할 필요는 없는지 등에 대해 토론하면서 인과 나 무를 완성 시킨다.

[그림 2] 인과나무의 기본모듈

자료: van Mierlo et al.(2010b)

이렇게 완성된 인과 나무는 프로젝트 팀이나 관계된 네트워크 그룹에 의해 더욱 발전될 수 있다.

여전히 놓치고 있는 것은 무엇인지에 대한 의견이나, 우선적으로 해결되어야 할 문제가 무엇인지에 대한 의견도 들을 수 있다. 인과분석의 결과는 문제를 해결할 수 있는 가능한 방법은 무엇인지, 그것을 누가 할 수 있을지 등에 대한 논의에 활용된다.

다. 역동적인 학습의제

프로젝트 관찰자나 관리자는 전환 프로젝트에 있어서 장기 목표와 당장 실천해야 할 구체적 행동을 모두 포괄하는 시각을 가져야 한다. 그러나 현실에서는 혁신을 위해 구체적인 문제를 정의하는 과정에 서부터 어려움을 겪는다던지, 혹은 시스템 변화에 대한 장기적인 관점에서의 성찰 없이 구체적인 행위 에만 너무 많은 힘을 쓰는 등의 문제가 흔히 일어난다. 이때 역동적인 학습 의제는 구체적인 행위 관점 과 장기목표를 연결하는 것을 돕는 도구이다.

시스템 분석, 행위자 및 인과 분석을 프로젝트의 문제들을 정형화하는데 사용할 수 있다면, 역동적 인 학습 의제는 프로젝트 중의 학습 경로를 정의한다. 신속하게 문제를 식별하고, 이러한 문제를 행위 관점에서 연결해 변화를 추적함으로써 다양한 행위자들의 학습과정을 기록하는 것이다. 전환 프로젝트 에서 성찰과 학습은 매우 중요한 부분인데, 역동적 학습 의제는 이 부분을 지원한다.

시스템 분석이나 행위자, 인과 분석 등을 통해 정형화된 문제들은 역동적인 학습 의제를 위한 입력 자료로 사용될 수 있다. 관찰자는 문제들을 학습 질문으로 바꾸거나, 참여자들로 하여금 바꾸도록 할

< 학습 질문의 전환 사례 >

지속가능한 농업 시스템 전환 프로젝트에 참여하고 있는 한 참가자가 프로젝트 회의에서 “농부들이 협 조를 하지 않습니다. 그들 모두가 원하는 것은 규모의 증가입니다.”라고 문제 상황에 대해 이야기했다.

이러한 문제 상황은 “농부들이 협력하도록 하려면 내가 어떻게 해야 하나?”라는 질문으로 표현됐는데, 이 것만으로는 참여자들로 하여금 문제에 대한 통찰력을 가지게 하는 데에 한계가 있었다. 관찰자는 같은 문 제에 대해 “왜 농부는 규모의 증가를 원했나?” 그리고 “이 프로젝트를 통해서 농부가 얻을 수 있는 이득은 무엇인가?”, “어떻게 농부가 우리의 프로젝트에 ‘관심’을 가지게 할 수 있는가?”와 같은 질문을 사용하여 상황을 분명하게 함으로서 대화를 용이하게 할 수 있다. 또한 이러한 질문의 전환은, 농부의 무관심이라는 시스템 외부 특성이 프로젝트와 농부 사이의 상호작용이라는, 프로젝트 내부의 문제로 바뀔 수 있게 하였다.

수 있다. 문제를 학습 질문으로 바꾸는 과정을 통해, 프로젝트를 방해하는 환경 요인이 더 이상 시스템 외부의 특성이 아니라 프로젝트의 한 부분이라고 인식될 수 있다.

역동적 학습 의제는 프로젝트 참여자들이 장애요인이나 도전적인 과제로 여기고 있는 것들이 무엇 인지를 파악하는 것으로부터 시작한다. 이러한 의견들은 시스템 혁신 관점에서 매우 의미 있는 요인이 될 수 있다. 또한 프로젝트 수행과정에서 생기는 메모나 보고서들에서 역시 이러한 문제 상황이 파악 될 수 있다.

역동적 학습 의제를 도출하기 위해서는 수집된 문제들을 학습 질문으로 표현한다. 이러한 문제 상황 에 대한 수집과 학습 질문으로의 전환은 프로젝트 회의가 진행될 때마다 반복될 수 있다. 질문들 중 일부는 문제 상황이 해결됨에 따라 삭제되기도 하고 지속적으로 남아있기도 한다. 특정한 질문이 의제 에 오랫동안 남아있다면, 프로젝트 팀과 함께 이 질문에 대해 철저히 성찰해볼 필요가 있다. 관계자들 과의 회의나 워크숍을 개최할 수도 있고, 논의에 앞서 관련 외부전문가의 발표를 듣는 등 필요한 정보 를 동원하기도 한다.

학습 의제의 조정이 문제 상황이 해결된 경우에만 이루어지는 것은 아니다. 답을 도출할 수 있는 질문이 형성되었는지, 새로운 질문을 추가할 필요는 없는지에 대해 끊임없이 성찰하면서 의제를 조정 할 수 있다. 한편 새로운 버전의 의제가 생성되더라도 이전 버전을 잘 저장해 두어야 한다. 시간이 흐름에 따라 변화된 의제의 여러 버전은 학습에 매우 유용한 자료가 된다.

라. 지표세트

전환 프로젝트를 수행하는 동안, 지속적인 성찰을 하다보면 프로젝트가 조정될 필요성이 제기되기 도 한다. 이런 경우 프로젝트의 조정을 위해서 지표세트를 활용할 수 있다.

다른 도구들과는 달리 지표세트는 시스템 과정을 안내하는 것만은 아니다. 지표들은 학습과 혁신 과정에 대한 이론을 기반으로 구성되며, 전환 과정에 대해 일련의 기준을 가지고 바라볼 수 있도록

돕는다. 따라서 지표를 사용하기 위해서는 관찰자가 사전에 더 많은 조사와 준비를 해야 한다. 또한 지표세트는 독립된 도구가 아니며 뒤에 소개될 성찰 과정 작성과 같은 다른 도구들과 함께 사용된다.

지표는 크게 효과지표와 과정지표로 나눌 수 있는데, 효과지표는 학습과 전환 과정 자체를 강조하 며, 과정이 강화될 필요가 있는지를 진단하고 과정지표는 프로젝트나 전환 네트워크에 있어서 학습 조건을 제시한다. 효과지표는 네트워크와 행위자 수준, 학습과 행위, 제도적 변화로 구분된다. 과정지 표는 네트워크 개발, 전환 네트워크 안에서의 상호작용, 시스템 접근으로 구분되며 각각은 다시 하위 범주로 나뉜다.

<표 4> 효과지표

학습 행위 제도적 변화

네트워크 집중학습 일상에서의

상호보완적 변화

일관된 제도적 변화, 제도적 장애에 대한 공동의

접근

행위자 2차 학습,

시스템 학습

일상에서의 변화, 제도적 장애에 대한 개인적

접근

단일/독립형 제도적 변화

자료: van Mierlo et al.(2010b)

<표 5> 과정지표

네트워크 개발

- 이종 네트워크 구축 - 주도자

- (잠재적)프로젝트 참가자 간의 참여와 긴박감

상호작용 - 프로젝트 참여자 사이의 신뢰

- 성찰을 위한 상호 준비

시스템 접근 - 시스템 혁신을 위한 포부

- 인지된 시스템 장애를 겨냥한 행동들 자료: van Mierlo et al.(2010b)

이와 같은 지표세트는 참여관찰에 대한 관점을 구체화시키거나 인터뷰 설계를 위한 주제설정에 활 용될 수 있다. 특히 개발의 정도를 파악하기 위해서 효과지표가 사용될 수 있는데, 효과지표는 이전 상황과의 비교를 통해 프로젝트 팀의 학습이 잘 이루어지고 있는지 등을 판단하는 기준이 될 수 있다.

또한 지표세트는 분석의 틀을 제공하기도 한다. 예를 들어 네트워크 수준에서의 행위자 수준을 분석 하기 위해서는 먼저 개인의 인식변화에 대해 알아야 하고, 이를 위해 집중학습 지표를 우선적으로 분 석할 필요가 있다.

지표세트를 활용해 분석된 결과는 참여자들에게 공유되어 발전될 수 있다. 참여자들과의 공유를 위 해서는 다른 도구에서 소개된 여러 회의 진행 방법들을 활용할 수 있다.

< 옥수수 재배 오염 관련 프로젝트에 지표세트가 사용된 사례 >

2007년 이후 네덜란드 남동쪽에 있는 기업이 옥수수 밭에서 지표수로 흘러드는 작물 보호 관련 화학 물질의 배출량을 줄이려는 프로젝트를 시도했다. 참여자들은 수자원 공사, 계약 노동자 조직, 축산 농민 조직, 설비 분야, 작물 보호제품 생산자들이었다. 프로젝트 관리자 두 명이 프로젝트 팀을 꾸려 감독했으며, 관찰자 한 명도 프로젝트의 성찰을 돕기 위해 처음부터 투입됐다.

먼저, 관찰자는 지표세트(indicator sets)를 도구로 선택하고 프로젝트 참여자들의 회의를 관찰했다.

관찰 내용을 바탕으로 프로젝트 팀과 회의를 한 결과 처음에는 참여자들이 자신의 의견을 솔직히 얘기하는 것을 꺼렸다. 그러나 관찰자가 문제를 정의하는 법과 참여자들의 관심, 예상가능한 해결책 등에 대해 설 명한 후 참여자들로부터 중요한 정보를 얻을 수 있었다. 그것은 모든 참여자들이 화학물질 배출의 문제 해결이 시급하다고 여기는 것은 아니었으며, 많은 참여자들이 문제 해결에 있어 자신들의 역할이 무엇인지 인지하지 못하고 있었다는 점이다.

참여자들이 이런 의견을 한 번 공유하고 난 후에는 좀 더 솔직하게 관련된 논의를 진행시켜 나갈 수 있었다. 이후 참여자들은 네트워크에서 훨씬 자발적으로 역할을 수행해 나갔다. 첫 회의에서 관찰자가 제시한 시스템 분석을 주제로 많은 참여자들이 함께 논의했으며, 이를 통해 훨씬 근본적인 해결책들이 도출될 수 있었다.

18개월쯤 후에 열린 두 번째 회의에서 관찰자가 작성한 성찰적 과정을 공유했고, 참여자들은 진정으로 제도 변화에 기여하기 원한다면 다음 단계를 추진해야 한다고 결론을 내리게 되었다.

지표는 혁신에 관한 이론에 기반하여 구성된다. 따라서 전환 과정의 모든 내용은 전적으로 참여자들 에 의해 결정돼야 한다고 믿는 관찰자에게는 적합하지 않은 방법이다. 이러한 경우 지표 보다는 앞서 제시된 역동적 학습 의제 도구를 사용하는 것이 바람직하다.

마. 성찰 과정 작성

프로젝트가 어느 정도 진행된 시점에서 관점을 환기시키거나, 중요한 사건과 변경사항에 대해 기록 하거나, 프로젝트의 투입 상황에 대해 알고 싶다면 ‘성찰 과정 작성(reflexive process description)’

도구를 활용할 수 있다.

성찰 과정 작성은 혁신 프로젝트를 분석하고 성찰을 독려하는 것을 목표로 한다. 성찰 과정을 작성 할지에 여부에 대한 결정은 프로젝트를 시작하는 단계에서 내려야 한다. 성찰 과정을 작성하는 관찰자 는 관련된 지표들에 대해 완전히 이해하고 있어야 하며, 프로젝트 기간 동안 각 과정에 대해 간단한 메모나 일지를 만들어 놓아야 한다. 관찰자가 직접 할 수 없는 경우에는 관리자에게 요청할 수도 있다.

작성을 시작하기 전에라도 관리자는 수집된 자료를 바탕으로 주목해야 할 사건이 무엇인지를 분석 할 수 있다. 내·외부적인 영향으로 인해 프로젝트 참여자, 프로젝트 팀의 학습효과가 변화하고 과정 지표 기준에 따른 관찰 결과가 달라지는 경우에 주목할 필요가 있다. 예를 들어 새로운 법률이나 정책 으로 인해 갑자기 문제의 시급성이 증가된다거나, 참여자들 사이의 갈등 정도에 따라 네트워크 내의 신뢰도가 증가․감소될 수 있다.

성찰 과정의 작성은 사건에 대한 세분화 작업으로부터 시작된다. 예를 들어 옥수수 재배 오염사례에 대해서는 문제의 개요 및 배경, 접근방식, 세부 사건들에 대한 논의, 성찰과정 검토, 결론 및 제언, 사례로부터 학습할 수 있는 것 등이 작성될 수 있다. 또한 세부 사건들에 대한 논의에서는 옥수수 사례 가 직면한 문제와 각 참여자의 역할, 문제요인에 대한 자세한 조사 내용, 실천된 결과 등이 작성될 수 있다.

관찰자는 몇몇 사건들에 대해 기록한 후 프로젝트 관리자나 참여자들과 함께 프로젝트 과정에 대해 성찰할 수 있다. 성찰을 통해 여러 질문에 대한 답을 얻을 수 있는데, 특히 참여자들이 프로젝트의 상황과 효과들에 대한 사건을 인식하고 있는지, 그리고 프로젝트나 네트워크 분석이 의미하는 것이 무엇인지에 대해 질문할 수 있다.

이러한 성찰 과정은 특정 그룹이 근래에 해온 것이 무엇인지를 면밀히 살펴보는 과정이기도 하기 때문에, 프로젝트 팀이나 참여자들은 이에 대해 매우 예민하게 반응하기도 한다. 이러한 상황 역시 성찰 과정의 한 부분으로 작성되어야 한다.

성찰 과정에 대한 기록과 분석은 프로젝트 과정에서의 성찰과 학습 활동을 독려하는 역할을 하기 때문에, 참여자 행동 변화를 촉발시킬 수 있다. 또한 프로젝트 참여자와 관리자들이 허락한다면 유사 한 프로젝트 참여자의 학습을 위한 자료로 쓰일 수도 있다.

바. 시청각 학습 이력

프로젝트 참여자들이 그들 자신의 경험으로부터 학습하기를 원한다면, 경험에 대해 기록하는 것은 매우 중요하다. 유사한 프로젝트 참여자들 또한 이러한 경험과 지식의 기록을 통하여 많은 도움을 얻 을 수 있다. 그러나 프로젝트 결과들은 주로 개념적, 관리적으로 기술되는데, 이러한 방법으로는 프로 젝트 참여자들이 선택과 학습을 통해 얻게 되는 교훈에 대해 충분히 설명하기 어렵다. 이런 경우 시청 각 학습 이력은 적합한 도구가 될 수 있다.

프로젝트 참여자들은 시청각 학습 이력 방법을 통하여 학습경험을 문장으로 옮기는 것은 물론, 지식 과 경험을 비디오로 기록할 수 있다. 보는 이들로 하여금 프로젝트의 추상적인 학습경험 및 프로젝트 참여자들이 겪게 되는 도전과 난제에 대한 통찰력을 제공한다는 점에서 시청각 학습 이력 방법은 다른 도구들과 차별성을 보인다. 학습경험을 담은 시청각 도구는 프로젝트 참여자들에게 영감의 원천이 되 거나 보는 이들에게 롤 모델을 제시하기도 한다.

3단계로 구성된 시청각 학습 이력에서 프로젝트 참여자들은 자신만의 용어로 좋은 점, 나쁜 점, 그 리고 중요한 점을 기술한다. 첫 번째 단계에서는 프로젝트 참여자들의 서술과 경험이 촬영되며, 촬영 된 이미지들은 두 번째 단계에서 요약된다. 이 자료들은 마지막 세 번째 단계에서 비디오로 완성 된다.

프로젝트에서 학습경험은 쉽게 사라질 수 있기 때문에 단순히 문서로 기록하는 것 이외의 영상으로 기록할 필요가 있다. 수집할 자료는 프로젝트 참여자 인터뷰, 워크숍 장면, 실제 활동이 이루어지는 현장의 모습 등 다양하다.

참여자 인터뷰를 위해서는 인터뷰에서 다뤄져야 할 주요 내용과 그것을 풀어나가는 방법 등에 대해

참여자들과 충분한 사전 논의를 거쳐야 한다. 촬영하는데 방해받지 않는 곳과 학습 경험 전체를 얻는 데 도움이 되는 적당한 장소를 찾는 또한 매우 중요하다. 녹화 중 화질과 음향이 좋지 않으면 녹화를 중지하는 것이 좋다. 또한 인터뷰 참여자만 화면에 나온다면 인터뷰를 하는 사람의 목소리는 나오지 않게 하는 것이 중요하다.

필요한 자료들이 수집됐다면, 표현들이 흥미롭고 화질와 음질이 좋은 비디오 자료를 골라 편집을 한다. 다양한 비디오 편집 프로그램이 사용될 수 있으며, 한 주제에 관해서는 20초에서 90초 정도로 편집되는 것이 바람직하다.

이렇게 편집된 자료들은 두 가지 방법으로 사용된다. 첫 번째는 다양한 관점들을 관찰할 수 있도록 전체를 하나의 이야기로 만드는 것이다. 이는 보는 이들이 과거의 비슷한 사례에 비춰 프로젝트 전체 를 이해할 수 있도록 한다. 두 번째는 짧은 단편들을 웹상에 게시하는 것이다. 이 경우 양질의 검색 엔진을 통해 많은 사용자들이 자료를 검색하고 활용할 수 있으며 적합한 웹 환경을 구축하기 위해 숙 련된 사이트 개발자가 필요하다. 이러한 비디오 자료들은 워크숍 등에서 참여자들의 성찰을 돕는 도구 로 활용될 수 있다.

Ⅳ. 지식시스템평가의 이해

1. 지식시스템평가의 개념과 특징

전통적인 방법의 평가나 모니터링은 보통 미리 설정된 목적을 기반으로 하며, 많은 경우에 정량적 평가가 되곤 한다. 프로그램의 심층적인 효과를 평가하는데 많은 한계가 지적되고 있음에도 불구하고 이러한 양적이고 단순화된 평가 절차는 여전히 많은 정책이나 프로젝트 평가에 활용되고 있다 (Bressers, 2011).

전통적인 방법에 의한 정책이나 프로젝트 평가에서는 목표 달성 정도를 측정하기 위해, 통제된 여러 변수를 사용한다. 네덜란드 정부의 평가 당국이 합작 금융 거래(joint financing arrangement)에 대 해 수행한 평가는 이러한 사례 중 하나이다. 모니터링을 위해 프로젝트 관리자들은 프로젝트의 추진과 정과 재정 지출 방식을 어느 정도 통제하도록 했다. 또한 프로젝트는 모니터링 프레임워크의 필요에 의해, 자체적인 모니터링 지표와 마일드스톤을 수립했다. 마일드스톤은 과학적 결과, 경제적 결과, 사 회적 결과와 혁신적 결과와 관련되는 목표를 포괄하며, 각 프로그램은 이 4가지 범주에 따라 ‘양적으 로 측정할 수 있는’ 자체적인 지표를 개발했다. 이렇듯 프로젝트를 추진하는 과정 중에 ‘변경될 수 있 는 목표’를 기준으로 달성도 측정을 위한 지표를 설정한다는 것과, 지표의 대표성이나 중요성보다는

‘측정 가능성’에 따라 지표가 설정되기도 한다는 것은 전통적인 평가 방법의 결정적 약점으로 지적된다.

이러한 전통적인 방법론에 의한 모니터링이나 평가가 지식과 혁신 행위자들이 참여하는 공동 생산 과정, 즉 전환 프로젝트에는 적합하지 않다는 관점에서 제시된 것이 지식시스템평가(applied systemic programme evaluation: ASPE)이다.

특성 전통적 평가 ASPE

절차(procedures) 명백하고 고정적인 절차 반복적이고 적응적 절차

목표(objectives) 목표 도달 네트워크 형성 및 목표도달

분석법

(mode of analysis) 측정 지식에 의한 추정/평가

데이터 정보원

(primary data source) 사실 지각

연구 개념

(research notion) 질서 추구 복잡성 포용

연구 디자인

(research design) 고정된 디자인 역동적 디자인

변수 정의 (definition of variable)

선 정의된(pre-defined)

변수들 우연성에 기반한 변수들

ASPE도 성찰적 모니터링과 마찬가지로 4세대 평가(Guba and Lincoln, 1989), learning histories(Kleiner and Roth, 1996)와 같은 관점에서 출발했다. 이러한 접근법은 학습과 상호작용 뿐 아니라 시스템 전체에 초점을 맞추므로, 전환 프로젝트와 같이 복잡한 시스템과 네트워크를 분석하 는데 적합하다. 또한 ASPE는 반복적․적응적 특성으로 인해 다양한 목표들을 포함하고, 많은 행위자들 과 관계되어 있는 유동적인 시스템에 알맞은 안정적인 방법이다.

<표 6> 평가 접근법들 비교

자료: van Mierlo et al.(2010b)

2. 지식시스템평가 방법 및 측정 변수

ASPE의 핵심적인 개념은, 프로젝트의 효과는 얼마나 수용되는지 정도(receptivity, 이하 수용성)에 따라 결정된다는 것이다. 따라서 효과 평가에서 수용성은 개입 변수(intervening variable)로 제안되 며, 전환 프로그램의 수용성을 판단하기 위한 변수들은 평가를 위한 주요 요인이 된다(Trott et al., 1995,; Gilbert et al., 1996).

[그림 3] ASPE의 개념적 프레임워크

자료: Bressers(2011)

Bressers(2011)는 Jeffrey & Seaton 모델의 4개 변수에 ‘정렬’ 변수를 추가하여 5개의 수용성 측 정 변수를 다음과 같이 제시했다.

■ 인식(awareness)

인식은 새로운 지식을 찾고 조사하기 위한 능력으로 정의된다(Jeffrey & Seaton, 2004). 따라서 인식의 첫 번째 지표는 ‘새로운 지식과 혁신을 찾고 조사하기’로 제안됐다. 두 번째는 ‘긴급한 문제에 대한 동의’이며 이는 송신자와 수신자가 긴급하다고 여긴 문제점에 대해 정보를 교환하기 위해 오래된 프레임워크에서 사용되던 것과 유사하다. 이러한 지표는 프로젝트의 타당성에 대한 유용한 정보를 제 공한다. 그러나 어떤 문제들은 혁신적인 방안을 필요로 하지 않고, 기존 정책이나 활동으로 해결할 수도 있다. 그러므로 송신자와 수신자는 긴급한 문제를 다루기 위해 실제로 혁신이 필요한지 여부에 대해 동의를 구할 필요가 있다. 따라서 세 번째 지표는 ‘지식과 혁신 필요에 대한 동의’이다.

■ 연합(association)

연합은 지식에 대한 잠재적 혜택 및 기존 요구와 능력에 대한 관계를 인정하는 것으로 정의된다 (Jeffrey & Seaton, 2004). 연합이 실현되기 위해서는 3단계가 필요하다. 첫째, 학습의 정도를 나타 내고 송신자와 수신자 사이에 태도를 개방해야할 필요가 있다. ‘학습 존재(presence)와 태도 개방’이 다. 두 번째는 ‘지식과 혁신에 대한 비용․혜택의 고려’이다. 이러한 비용과 혜택은 전반적인 사회적 비 용과 혜택이 아니라 개별 행위자와 관련이 있다. 셋째, 송신자와 수신자에게 혁신 콘텐츠에 대한 동의 를 구하는 단계로 ‘지식과 혁신 콘텐츠에 대한 동의’이다. 마지막 단계는 혁신의 잠재적 혜택을 깨닫는 데 꼭 필요하다.

■ 정렬(alignment)

정렬의 지표들은 네트워크 분석 조사에서 이용될 수 있는데, 이는 프로그램에서의 성공과 네트워크 생성의 문제점을 밝히는데 유용하다. 이러한 지표들은 ‘송신자와 수신자 간 접촉 빈도’, ‘초기 기대치 와 이러한 접촉 빈도와의 정합성’, ‘송신자와 수신자 간 접속 약속’, ‘초기 기대치와 이러한 약속 간의 정합성’이다. 서베이나 인터뷰 등에서 활용할 경우, 송신자와 수신자 모두에게 질문하고 상호 체크 하 는 방법으로 데이터의 신뢰성을 높일 수 있다.

■ 획득(acquisition)

Jeffrey와 Seaton은 이 변수를 새로운 기술을 획득하는 능력 혹은 지식 개발을 지지하는 행위의 새로운 모델 학습으로 정의했다. 지식 획득 능력은 몇 가지 지표에 의해 영향 받는다. 첫째, 수용성 분석에서 흥미로운 지표로 증명된 ‘혁신의 현실성과 실현 가능성’이다. 두 번째, 송신자와 수신자는 이러한 획득 과정에서 서로에게 영향을 미쳐야 하는 정도에 대해 동의할 필요가 있으므로 ‘상호 영향

에 대한 동의’가 이뤄져야 한다. 한편 송신자는 안정된 환경에서 혁신을 발전시켜야 하고, 수신자는 위험 없이 혁신을 적용하여 이용해야 한다. 따라서 세 번째 중요한 지표는 ‘지식과 혁신 발전 및 이용 획득’이다.

■ 적용(application)

평가는 프로젝트가 종료된 후에 짧은 기간 동안 수행되기 때문에 이 변수는 평가하기 어렵다. 따라서 지각 평가(perception assessment)는 프로젝트의 잠재적 적용을 위한 가장 중요한 지표이다. 이용된 지표들은 프로그램의 효과에 대한 송신자와 수신자의 지각, 특히 ‘프로그램/프로젝트의 효과에 대한 지 각, 프로그램/프로젝트의 이해, 그리고 실행 가능성에 대한 동의’를 평가하기 위해 유지될 것이다.

V. 교훈과 적용 가능성

사회·기술시스템 전환의 모니터링·평가 방법론은 전통적인 평가 방식과 비교할 때 목적, 수단 등에 서 차이를 보인다. 예컨대 국내 연구개발 사업에 대한 평가의 경우, 사업의 효율적 추진을 위해 대상 사업의 사업관리 및 성과 등을 평가하며 사전에 설정된 성과목표와 목표의 달성여부를 확인하기 위한 성과지표 등을 기준으로 사업의 우수성을 판단한다.

반면 사회·기술시스템 전환에서 모니터링․평가의 목적은 사업 과정 중에서 참여자들의 공동 성찰 및 학습을 이끌어내고, 사업이 올바른 방향으로 추진되고 있는지를 점검하여 시스템의 속성 자체를 전환시키는 데에 있다. 시스템 전환은 단 한 차례의 혁명적 개편이나 정교한 사전 정책 설계가 불가능 하기 때문에 기술·사회를 뛰어넘어 경제, 생태, 문화 등 여러 요소의 상호작용과 공진화를 기반으로 하는 지속적인 학습과정이 요구된다. 즉 구체적인 기획이나 통제보다는 비전을 제시하고 학습할 수 있는 실험을 설계하여 시행 가능한 대안을 찾아가는 진화적 접근을 취하고 있다. 따라서 새로운 시스 템 전환을 염두에 둔 모니터링·평가는 현재 정책에 대한 의미 부여와 이에 대한 재조정을 지속적으로 수행해 나가게 된다. 일종의 전환화(transitioning) 과정으로 기존 사업·정책을 시스템 전환의 관점에 서 새롭게 의미를 부여하고 변화시키면서 전환과정에 합류하게 하는 것이다(성지은·정병걸·송위진, 2012; 성지은·조예진, 2014).

따라서 사회·기술시스템 전환의 모니터링·평가는 접근 방법과 유연성, 평가 시기 및 평가자의 역할 등에서 기존의 방식과는 차별점이 있다.

우선 접근 방법에 있어서는 결과보다는 과정에 초점을 맞춘다. 사전에 정의된 결과와 일정에 맞춰 평가하는, 결과 기반의 평가 접근법은 전환 프로젝트에 적합하지 않다. 전환 프로젝트는 행위자들 사 이의 상호작용, 관계의 변화, 시스템의 장애 및 기회요인 등으로 인해 프로젝트 전략과 목표 등이 변할 수 있다는 특징을 가졌기 때문이다.

전환 프로젝트를 위한 평가 설계에 있어서 유연성 유지는 아주 중요한 부분이다. 자녀 양육의 예와

같이, 숙고하여 결정한 교육철학을 바탕으로 세워진 여러 계획들은 백퍼센트 계획에 따라 이루어지지 않는다. 또한 둘째 아이를 기르는 과정은 많은 부분에서 첫째의 양육과 비슷한 상황에 처하게 됨에도 불구하고 이전과 다른 결과를 얻게 된다. 따라서 좋은 육아는 바람직한 행동 패턴을 자극하고 바람직 하지 않은 패턴들을 억제하도록 도와주는 것이다(Forss & Schwartz, 2011). 전환 프로젝트에 있어 모니터링과 평가의 역할 또한 이와 다르지 않다.

과정에 대한 평가에 있어 성찰적 모니터링과 지식시스템평가 방법 모두 평가자의 위치와 역할이 기 존과 다른 모습을 나타낸다. 평가자는 단순한 관찰 대신 변화의 새로운 패턴을 찾아내는 역할을 해야 한다(Forss & Schwartz, 2011). 평가자가 변화를 주도하고, 능동적으로 학습을 촉진시키는 역할을 수행할 때 평가는 문제를 구조화하는 행동이 될 수 있다(Guba & Lincoln, 1989). 이를 위해 평가자 는 프로젝트의 초기 단계부터 참여해야 하며, 프로젝트 과정에 매우 깊게 개입하고 있어야 한다.

마지막으로 사회·기술시스템의 전환을 위한 근본적으로 다른 ‘행동 변화’를 위해서는 모니터링과 평가에 학습 과정이 수반되어야 한다(Bressers, 2011; Szejnwald Brown et al., 2004; van Mierlo et al., 2010b). 이러한 관점은 끊임없이 변화하는 환경에 적응하려는 전환 프로젝트의 특성과도 밀접 한 관련이 있다.

∙ 참고문헌 ∙

과학기술정책연구원 사회혁신팀 편역 (2014), 지속가능한 사회·기술시스템으로의 전환: 이론과 실천 방법, 과학기술정책연구원 기타연구 2014-01.

송위진 (2010), 창조와 통합을 지향하는 과학기술혁신정책, 한울아카데미.

송위진 (2012), 사회·기술시스템론과 정책적 의의, 동향과 이슈(60), 과학기술정책연구원.

송위진·성지은 (2013), 사회문제해결을 위한 과학기술혁신정책, 한울아카데미.

송위진 (2013), 지속가능한 사회․기술시스템으로의 전환, 과학기술정책, 23(4), pp. 4-16.

성지은·정병걸·송위진 (2013), 지속가능한 사회기술시스템 전환과 백캐스팅. 「과학기술학연구」, 제 12권 제2호.

성지은·조예진 (2013), 시스템 전환과 지역 기반 전환 실험, 과학기술정책, 23(4), pp. 27-45.

Anderson, A.A. (2005), The community builder’s approach to theory of change: A practical guide to theory development-Aspen Institute Roundtable on community change. Downloaded on 16 March 2014, http://tinyurl.com/andersonaa.

Bressers, N. (2011), Co-creating innovation: a systemic learning evaluation of knowledge and innovation programmes, Optima Grafische Communicatie, Rotterdam.

Bussels M., Happaerts S. & Bruynickx H. (2013), Evaluation and monitoring transition initiatives: Lessons from a field scan, Research paper 5, Policy research centre TRADO, Leuven, Downloaded on 16 March 2014,

http://www.steunpunttrado.be.

Davies, R. & Dart. J. (2005a), The ‘most significant change’(MSC) technique: A guide to its use.

Downloaded on 16 March 2014,

http://www.mande.co.uk/docs/MSCGuide.htm.

Davies, R. (2005b), Evaluation for farming systems improvement: looking backwards, thinking forwards, Australian Journal of Experimental Agriculture, 45, pp. 627-633.

Elzen, B. & Wieczorek, A. (2005), Transitions towards sustainability through system innovation, Technological forecasting and social change 72(6), pp. 651-661.

Forss K. & Schwartz R. (2011), ‘Introduction’, paper in Evaluating the complex: attribution, contribution, and beyond, K. Forss, R. Schwartz & M. Marra(eds), Comparative Policy Evaluation, Transaction Publishers, London, 18, pp. 1–32.

Gilbert, M. & Cordey-Hayes, M. (1996), Understanding the process of knowledge transfer to achieve successful technological innovation, Technovation, 16(6), pp.301-312.

Grantcraft (2006), Mapping change, Using a theory of change to guide planning and evaluation, Ford Foundation, Downloaded on 16 March 2014, http://www.grantcraft.org.

Gubam E.G. & Lincoln, Y. S. (1989), Fourth generation evaluation, Newbury Park, CA, Sage.

IFAD (2006), A guide for project M&E managing for impact in Rural development, Downloaded on 16 March 2014, http://tinyurl.com/ifadguide.

Jeffrey, P. & Seaton, R.A.E. (2004), A conceptual model of ‘Receptivity’ applied to the design and deployment of water policy mechanisms, Journal of Integrative Environmental Sciences, 1(3), pp.

277-300.

Kleiner, A. & Roth, G. (1996), Field manual for the learning historian, Boston, MIT, center for organizational learing.

Kemp R. & Rotmans J. (2001), ‘The management of the coevolution of technological, environmental and social systems’, paper for the conference Towards Environmental Innovation Systems, Eibsee, 27-29 September 2001.

Kleiner, A. & Roth, G. (1997), Learning histories: A new tool for turning organizational experience into action, Downloaded on 16 March 2014,

http://ccs.mit.edu/lh/21CWP002.html.

Loorbach D. & Rotmans J. (2006), ‘Managing transitions for sustainable development’, Understanding Industrial Transformation, pp. 187–206.

Mierlo, B. van, Arkestejin, M. & Leeuwis, C. (2007), Reflexive process monitoring and ‘Farming with a future’: the first phase, Wageningen, PRO/WUR CIS.

Mierlo, B. van, Arkestejin, M. & Leeuwis, C. (2010a), Enhancing the reflexivity of system innovation projects with system analyses. American Journal of Evaluation, 31(2), pp.143-161.

Mierlo, B. van, Regeer, B., Amstel, M. van, Arkestejin, M., Beekman, V., Bunders J., Buning, T. C., Elzen, B., Hoes, A-C., Leeuwis, C. (2010b), Reflexive monitoring in action: a guide for monitoring system innovation projects, Downloaded on 16 March 2014,

http://creativecommons.org/licenses/by-nc-nd/3.0/nl.

Nevens F., De Weert Y., Vrancken K. & Vercaemst P. (s.d.), Transition in research ‐ Research in transition: when technology meets sustainability, Vision on Transition, VITO, Mol, https://www.vito.be.

Paredis, E. (2013), A winding road: Transition management, policy change and the search for sustainable development, Doctoe in de Politieke Wetenschappen, Universiteit Gent.

Regeer, B.J. (2009a), Making the invisible visible. Analysing the development of strategies and changes in knowledge production to deal with persistent problems in sustainable development(thesis).

Oisterwijk, Boxpress.

Regeer, B. J., Hoes, A-C. , Amstel-van Saane, M. van, Caron-Flinterman F., and Bunders, J. (2009b), Six guiding principles for evaluating mode-2 strategies for sustainable development. American Journal of Evaluation 30(4), pp.515-537.

Stake, R.E. (1983), Program evaluation, particularly responsive evaluation, In: G. Madaus, M. Scriven, ed D. Stufflebeam(eds.), Evaluation Models, Norwell MA, Kluwer Academic Publishers, pp.

291-304.

Szejnwald Brown H., Vergragt P.J., Green K. & Berchicci L. (2004), ‘Bounded socio‐technical experiments(BSTEs): higher order learning for transitions towards sustainable mobility’, in System innovation and the transition to sustainability: theory, evidence and policy, edited by E. Boelie, F.W. Geels & K. Green, p. 191–219, Edward Elgar Publishing Ltd, Cheltenham

Trott, P., Cordey-Hayes, M. & Seaton, R.A.E. (1995), Inward technology transfer as an interactive process, Technovation 15(1), pp. 25-43.