인공지능의 책임성

인공지능 윤리

소프트웨어야 놀자 AI 윤리 교육 시리즈 프로젝트 - 4

인공지능의 책임성

들어가며

인공지능윤리교육

우리는 초고속 인터넷과 소프트웨어, 그리고 인공지능이 정보 인프라를 이루고 있는 시대에 살고 있습니 다. 이 정보 인프라 위에서 사회⋅ 경제⋅ 산업⋅ 문화⋅ 윤리 등 모든 것을 새롭게 설계하고 만들어나가야 하는 시 점에 있습니다. 그리고 그러한 일을 해나가야 할 사람이 바로 우리의 아이들입니다. 아이들이 새로운 인프 라에서 새로운 도구를 사용해 새로운 세상을 만들어나가려면, 과거와는 다른 새롭고 다양한 역량이 필요 할 것입니다.

그동안 초중등학교에서는 소프트웨어 교육을 통한 컴퓨팅 사고력 향상이 많은 관심을 받았습니다. 그리 고 최근에는 소프트웨어 교육의 연장 선상에서 인공지능 교육이 큰 관심을 받기 시작하면서 데이터와 인 공지능 역량이 강조되고 있습니다. 인공지능 교육을 통하여 우리 아이들은 인공지능 관련 지식뿐 아니라 새로운 차원의 컴퓨팅 사고력을 습득하게 될 것이며, 혁신적인 태도를 갖게 될 것입니다.

우리의 아이들이 그러한 지식, 역량, 태도를 가지고 소프트웨어와 인공지능이라는 인프라 위에서 새로 운 세상을 설계하게 될 것이라는 생각을 하면, 단지 지식뿐만 아니라 우리 인류가 처음으로 경험하게 될 다양한 사회⋅ 윤리적인 문제⋅에 대한 이해와 준비가 필요할 것입니다. 인공지능이 기반이 된, 그리고 인공지 능이라는 일종의 새로운 인류와 함께 공존하며 살아가야 할 상황에서, 그 공존을 위한 새로운 윤리적 가치 를 고민하고 합의하여 나가야 하는 일은 무엇보다도 중요한 문제⋅입니다. 다시 말하자면, 우리 아이들은 과 거와는 전혀 다른 차원의 윤리적 사고가 필요하게 될 것입니다.

이 교재는 아이들에게 인공지능의 윤리에 대한 이해와 사고를 돕기 위해 만들었습니다. 인공지능의 신 뢰성, 편향성, 악용 가능성, 그리고 책임성에 대한 주제⋅에 대해 여러 다양한 상황을 간접 경험하게 함으로 써 문제⋅의 본질을 이해하고, 그러한 문제⋅의 해결을 위한 다양한 생각을 유도하도록 구성하였습니다.

본 교재가 교육 현장에서 널리 활용되어 미래 세대 아이들을 위한 새로운 윤리적 역량 교육에 도움이 되 길 바랍니다.

김현철 교수 장연주 연구원 최승윤 연구원

김수환 교수

이민정 교수

고려대학교 정보대학 컴퓨터학과 교수이며 인공지능, 기계학습 그리고 초중등 SW/AI교육 분야 의 연구를 하고 있다.

고려대학교 컴퓨터학과 박사과정 서울시 교육청 초등 교사 고려대학교 컴퓨터학과 박사과정 경기도 교육청 초등 교사

고려대학교에서 컴퓨터교육 박사학위를 받고, 현재 총신대학교에서 컴퓨터 교육을 가르치고 있 다. 초중등 SW/AI교육의 정착과 발전을 위해 교육과정 개발, 교재 집필, 교사연수 운영 등 다각도 로 힘쓰고 있다.

중앙대학교 다빈치교양대학 교수로 재직 중이며 전교생 대상 소프트웨어 교양 교육을 진행하고 있다. 대기업⋅과 벤처기업⋅에서 SW 개발자로서 20년간 근무한 경험을 바탕으로 모두를 위한 소프 트웨어 및 인공지능 분야의 보편적 교육 커리큘럼과 교육 프로그램 모델을 연구 개발하고 있다.

집필진

감수자

네이버 커넥트재단

김현철 교수(고려대학교), 장연주(고려대학교), 최승윤(고려대학교) 발행처

집필진

2) 수업용 ppt

교사용 수업 가이드와 수업용 ppt를 활용해 수업을 진행해보세요.

1) 교사용 수업 가이드 & 수업 내용

제목

수업용 ppt 페이지 및 차시 해당 수업내용

교사용 수업 가이드

수업⋅ 가이드를 다운 받으신 후, 내용 참고하셔서 수업⋅을 진행하실 수 있도록 구성하였습니다.

3) 학생용 워크시트 목차

교사용 수업 가이드 뒤에는 학생용 워크시트가 포함되어 있습니다.

해당 수업에 맞는 워크시트를 인쇄하여 수업 진행해주세요.

워크시트 제목 워크시트 페이지

1차시 / 원리 이해하기 인공지능과 윤리적 딜레마 -18p

2차시 / 생각해보기 사회⋅적 합의와 인공지능 활용의 책임성 19p-26p

차시 관련 키워드 교수・학습활동 시간 준비물/자료

1차시 자율주행 자동차, 트롤리 딜레마

□ 인공지능과 윤리적 딜레마

- 여러가지 윤리적 딜레마 상황(모럴 머신) 체험하기 - 생각 나누기

40' 활동지, 필기도구, 색연필

2차시

윤리적 설계 가이드라인, 책임성, 사회⋅적 합의

□ 사회적 합의와 인공지능 활용의 책임성

- 자율주행 셔틀 버스의 윤리적 설계 가이드라인 만들기 - 인공지능 개발 및 사용의 책임성

40'

활동지, 필기도구, 색연필

프로젝트 전개

변환기를 당겨야 하나 말아야 하나...

① 자율주행 자동차와 관련된 윤리적 딜레마 상황에 대한 자신의 생각을 이야기할 수 있다.

② 자율주행 셔틀 버스의 윤리적 설계 가이드라인을 만들어보고, 인공지능의 책임성에 대해 이야기할 수 있다.

학습목표

* 관련 인공지능 윤리 키워드 :

책임성, 자율주행 자동차, 윤리적 딜레마, 사회적 논의

내가 하인츠의 입장이라면, 약을 (훔칠 것이다 / 훔치지 않을 것이다).

왜냐하면

친구들과 내 생각이 완전히 일치하나요? 아마도 그렇지 않았을 것입니다. 이러한 몇몇 윤리적인 문제⋅들은 명확 한 정답이 없는 딜레마 상황을 포함하고 있기 때문입니다. 윤리적 딜레마란 도덕적으로 어떤 결정을 해야 할 때, 위의 예시처럼 여러 가치가 서로 충돌하여 쉽게 결정할 수 없는 난처한 상황을 말합니다. 이렇게 윤리적인 딜레 마 상황과 마주했을 때, 우리는 어떤 방식으로 문제⋅를 해결해야 할지에 대해 깊게 고민하게 됩니다.

인공지능을 개발하고 활용하는 과정에서도 이러한 윤리적 딜레마 상황이 생길 수 있습니다. 또, 윤리적인 딜레 마 상황 외에도 앞에서 배운 것처럼 인공지능의 신뢰성, 편향성, 악용 가능성으로 인한 문제⋅ 역시 발생할 수 있습 니다. 이러한 문제⋅를 예방하기 위해 사람들은 다양한 시도와 노력을 하고 있지만, 모든 상황을 예상하고 방지하 기는 어렵기 때문에 문제⋅가 발생할 가능성이 여전히 존재합니다.

생각 열기

수업용 ppt 6-7p

왼쪽의 영상 속 내용은 유명한 ‘하인츠 딜레마’ 이야기입니다. 이 야기 속 하인츠는 약을 훔치지 않는 것이 옳았을까요? 아니면 약 을 훔치는 것이 옳은 일이었을까요? 여러분이라면 어떻게 행동했 을지 생각해보세요. 또, 그 이유는 무엇인지 친구들과 이야기해보 세요.

https://youtu.be/xfv47K0U_LM

인공지능의 책임성이란 인공지능 기술을 사용하면서 사회⋅적인 문제⋅가 발생했을 경우, 다양한 사람들이 어떻게 해결하고 대처하는 것이 좋을지에 대해 고민하는 것입니다. 사람 간에 문제⋅가 발생한 경우에는 잘못한 사람이 법 에 의하여 처벌 받게 됩니다. 하지만 인공지능으로 인해 발생한 문제⋅라면 어떻게 될까요? 인공지능을 만든 개발 자의 잘못일까요? 아니면 인공지능을 사용한 사용자의 잘못인가요? 그것도 아니라면 이 인공지능 도입을 결정 하거나 서비스를 제⋅공하는 사람의 잘못일까요?

인공지능과 관련된 문제⋅들 중에는 많은 상황이 복합적으로 얽혀 있어서 누가 잘못했다고 한 번에 대답하기 어 려운 경우가 있습니다. 특히 앞서 이야기했던 윤리적 딜레마 상황에서 문제⋅가 발생한 경우, 누구에게 어떻게 책 임을 물을 것인지에 대한 답은 더욱 찾기 어려워집니다.

이번 시간에는 인공지능과 관련된 윤리적 딜레마 상황에서 어떤 선택을 하는 것이 좋을지 생각해보고, 서로 이 야기를 나누어보도록 하겠습니다.

인공지능과 윤리적 딜레마

수업용 ppt 8-22p

1. 자율주행 자동차와 트롤리 딜레마

1-1. 트롤리 딜레마란

트롤리 딜레마에 대해 들어본 적 있나요? 트롤리란 흔히 ‘광차’로 번역되는데, 광차는 광산 등 공사 현장에서 모 래 등을 수송하던 열차입니다. 트롤리 딜레마는 대표적인 윤리적 딜레마 예시로, 트롤리가 사고를 피할 수 없는 상황에 처했을 때 어떤 선택을 하는 것이 옳은지를 묻는 문제⋅입니다. 다음 상황을 보고, 여러분이라면 어떤 선택 을 할지 생각해봅시다.

< 상황 >

당신은 트롤리의 방향을 조종할 수 있는 기관사입니다. 트롤리가 매우 빠른 속도로 질주하고 있는데, 열차가 가 는 방향 앞에 다섯 명의 사람들이 철로를 점검하는 작업을 하고 있습니다. 속도가 너무 빠르기 때문에 브레이크를 잡아도 제때 멈출 수 없고, 다섯 명의 사람들과 충돌할 수밖에 없는 절박한 상황이 되었습니다.

인공지능과 윤리적 딜레마

수업용 ppt 8-22p

변환기를 당겨야 하나 말아야 하나...

◆ 여러분이라면 어떤 선택을 하실 건가요?

◆ 그 이유는 무엇인가요?

인공지능과 윤리적 딜레마

수업용 ppt 8-22p

1-2. 자율주행 자동차와 트롤리 딜레마

트롤리 딜레마를 자율주행 자동차와 관련지어 생각해볼 수 있습니다. 자율주행 자동차가 피할 수 없는 사고를 마주했을 때, 트롤리 딜레마와 같은 상황에서 어떤 선택을 하는 것이 옳을까요? 다양한 윤리적 딜레마 상황을 체험해보고, 각각의 상황에서 자신이 판단한 결과를 아래 표에 기록해봅시다.

1) 모럴 머신(https://www.moralmachine.net/hl/kr) 웹사이트에 접속한 뒤, ‘시작하기’를 클릭합니다.

2) ‘요약보기’를 클릭하여 각각의 상황에 대해 파악한 뒤, 자신이 더 옳다고 생각하는 상황을 선택합니다.

인공지능과 윤리적 딜레마

수업용 ppt 8-22p

인공지능과 윤리적 딜레마

수업용 ppt 8-22p

3) 13개의 상황을 모두 체험한 뒤, 다른 사람들 및 자신의 선택 결과를 기록해봅시다.

기준 나의 결과

가장많이 살려준 캐릭터 가장 많이 희생된 캐릭터

희생자 숫자의 중요도

(숫자가 많은 쪽을 살려야 한다고 생각 하는 정도)

승객 보호 선호도

(자율주행 자동차에 탑승 중인 승객을 보호해야 한다고 생각하는 정도)

법규 준수 여부의 선호도

(신호를 지키는 사람을 살려야 한다고 생각하는 정도)

개입에 대한 회피 선호도

(자율주행 자동차가 가고 있는 방향을 직접 바꾸는 것을 피하는 정도)

성별 선호도

종에 대한 선호도

연령 선호도

체력 선호도

사회적 가치관 선호도

(범죄자가 아닌 사람을 구해야 한다고 생각하는 정도)

중요하지 않음

중요하지 않음

중요하지 않음

중요하지 않음

남성

인간

젊은이

건강인

높음

매우 중요함

매우 중요함

매우 중요함

매우 중요함

여성

애완동물

노인

비만인

낮음

인공지능과 윤리적 딜레마

수업용 ppt 8-22p

1-3. 생각 나누기

◎ 모둠원과 결과를 비교해보고, 모둠원이 가장 많이 살려준 캐릭터와 가장 많이 희생된 캐릭터를 적어 봅시다.

◆ 모둠원이 선택한 가장 많이 살려준 캐릭터는 무엇인가요?

◆ 모둠원이 선택한 가장 많이 희생된 캐릭터는 무엇인가요?

◆ 나의 선택과 모둠원의 선택을 비교해보고, 비슷한 점과 다른 점에 대해 이야기해봅시다.

◎ 모둠원과 결과를 비교해보고, 모둠원끼리 가장 결과가 비슷했던 항목(기준)과 가장 결과가 다르게 나온 항목(기준)을 적어봅시다.

◆ 모둠원끼리 가장 결과가 비슷한 항목(기준)은 무엇인가요?

예) 종에 대한 선호도

◆ 모둠원끼리 가장 결과가 다르게 나온 항목(기준)은 무엇인가요?

예) 승객 보호 선호도

◆ 모둠원과의 결과를 비교해보고 알게 된 점을 이야기해봅시다.

인공지능과 윤리적 딜레마

수업용 ppt 8-22p

◎ 다음 동영상을 보고, 물음에 답해봅시다.

◆ 자율주행 자동차에게 윤리적 딜레마 문제가 발생했을 때 자율주행 자동차의 선택을 결정하기 위한 기준을 어 떻게 정해야 할까요?

◆ 이와 같이 인공지능 기술과 관련된 윤리적 딜레마 상황에 대해 미리 생각해보고 이야기를 나누는 일은 왜 중요 할까요?

인공지능과 윤리적 딜레마

수업용 ppt 8-22p

https://youtu.be/ixIoDYVfKA0

자율주행 자동차의 트롤리 딜레마 상황에서 누구를 구할 것인가에 대한 의견은 국가마다 크게 다르 고, 문화⋅나 경제⋅와도 깊은 연관이 있다고 합니다. 예를 들어, 한국이나 중국 같은 노약자를 존중하는 문화⋅권에서는 젊은이보다 노약자를 살리는 선택을 하는 경향이 있었습니다.

이처럼, 인공지능과 관련된 딜레마 문제⋅는 사람마다, 그리고 국가나 문화⋅권마다 생각하는 정답이 모 두 다릅니다. 따라서 이러한 문제⋅에 대한 대처 방안은 인공지능을 만드는 개발자나 사용하는 사용자 등 적은 수의 사람이 결정해서는 안 되고, 많은 사람이 사회⋅적인 기준을 합의해서 결정해야 할 필요가 있습니다. 여러분 역시 인공지능 시대를 살아갈 사람들로서, 이러한 문제⋅에 대해 미리 생각해보는 것 은 매우 가치 있는 일이라고 할 수 있습니다.

인공지능과 윤리적 딜레마

수업용 ppt 8-22p

< 젊은이와 노약자를 살리겠다고 선택한 비율 >

인공지능과 윤리적 딜레마

도입 | 1차시 | 2차시

<교사용 참고자료>

공리주의적 자율주행 자동차, 의무론적 자율주행 자동차

공리주의는 최대 다수의 최대 행복을 목적으로 하는 윤리 이론으로, 공리(모든 이익-모든 손실)를 최대화⋅하는 것을 중요시한다. 즉 공리주의는 여러 가지 대안 중 비용 대비 최대 편익을 산출하는 것을 선택한다. 자율주행 자동차가 트롤리 딜레마 상황에 처했을 때, 공리주의자는 더 많은 사람을 살릴 수 있는 방향으로 선택한다. 하 지만 공리주의적 자율주행 자동차는 한계가 존재한다. 사람들이 자신이 보행자의 입장일 때는 공리주의적인 차 를 선호하지만, 자동차를 구매하는 입장에서는 공리주의적인 차에 대한 매력을 덜 느낀다는 점이다. 또한 비용 과 이익에 대해 평가를 할 때 보험회⋅사에서 피해를 측정하는 금액을 기준으로 평가를 하는 경우, 공리주의적인 접근에서는 헬멧을 안 쓴 오토바이 탑승자보다는 헬멧을 쓴 오토바이 탑승자와 충돌하는 것이 낫다고 판단할 수 있다. 헬멧을 쓴 오토바이 탑승자는 다칠 가능성이 작기 때문에, 충돌 시 피해 금액을 최소화⋅할 수 있기 때문 이다. 이 경우 안전을 위해 교통 규칙을 준수하며 헬멧을 쓴 오토바이 탑승자가 오히려 피해를 보게 되는 불공 평한 결정을 내리게 된다.

한편, 의무론적 윤리는 어떤 행위가 도덕적인 이유는 그것이 어떤 이익을 주기 때문이 아니라 그것이 의무이기 때문에 행해야 한다고 보는 입장이다. 자율주행 자동차에 대한 의무론적인 접근은 아시모프의 로봇이 따라야 하는 세 가지 원칙에서 출발할 수 있는데, 게르 게스(J.C. Gerdes)와 손 턴(S.M. Thornton) 이 제⋅시한 자율주 행 자동차의 구체적인 원칙을 예로 들면 다음과 같다.

(1) 자율주행차량은 보행자 또는 자전거 탑승자와 충돌해서는 안 된다.

(2) (1) 의 원칙을 위반하는 충돌을 피하기 위한 경우를 제⋅외하고는, 자율주행차량은 다른 차량과 부딪혀서는 안 된다.

(3) (1) 과 (2) 의 원칙을 위반하는 충돌을 피하기 위한 경우를 제⋅외하고는, 자율주행차량은 자신이 처한 상황에서 어떤 다른 물체와도 충돌해서는 안 된다.

(4) 자율주행차량은 도로교통법을 지키는 것이 위의 세 가지 원칙들과 충돌하지 않을 경우를 제⋅외하고는 도로교

사회적 합의와 인공지능 활용의 책임성

수업용 ppt 25-47p

1. 자율주행 셔틀 버스의 윤리적 설계 가이드라인 만들기

자율주행 셔틀버스의 윤리적 설계 가이드라인이란, 학생들이 학교나 학원, 유치원 등을 갈 때 타고 다니는 셔틀 버스를 자율 주행할 수 있도록 개발할 때 참고해야 할 규칙 또는 원칙들의 모음을 말합니다. 앞에서 살펴본 것과 같은 딜레마 상황이 발생했을 때, 자율주행 셔틀버스의 윤리적 설계 가이드라인을 만들어 두어야 그 원칙대로 셔 틀버스가 판단을 할 수 있습니다.

자율주행 셔틀버스의 설계 가이드라인을 만들 때 가장 중요한 것은 사회⋅적인 합의가 필요하다는 점입니다. 딜레 마 상황에서는 어떤 선택을 하는 것이 옳은지에 대한 명확한 정답이 없기 때문에, 혼자만의 기준으로 가이드라인 을 만들어 인공지능의 선택 방향을 결정해 버리면 그 결정에 대해 다른 사람들은 공정하지 않다고 생각할 수 있 습니다. 따라서 여러 사람의 의견을 모아서 합의를 거쳐 기준을 정할 필요가 있습니다. 물론 그 안에서 받아들여 지지 않는 의견도 있을 수 있지만, 대화⋅를 통하여 여러 사람의 의견을 반영하여 사회⋅적인 합의를 끌어낸다면 더 욱더 많은 사람이 동의할 수 있는 가이드라인이 만들어질 수 있을 것입니다.

사회적 합의와 인공지능 활용의 책임성

수업용 ppt 25-47p

1-1. 선택 기준 및 우선순위 정하기

◎ 다음 선택 기준 7가지 중에서 반드시 고려되어야 하는 것을 5가지 정해봅시다.

<선택 기준>

더 많은 사람을 보호하는 것, 승객을 보호하는 것, 횡단보도 신호를 준수한 사람을 보호하는 것, 성별, 동물보다는 사람을 보호하는 것, 나이, 범죄자보다는 범죄자가 아닌 사람을 보호하는 것

◆ 내가 생각할 때, 반드시 고려해야 할 5가지는 무엇인가요?

◆ 그 이유는 무엇인가요?

◆ 모둠원과의 토의를 통해 반드시 고려해야 할 5가지 선택 기준을 정해봅시다.

사회적 합의와 인공지능 활용의 책임성

수업용 ppt 25-47p

◎ 앞에서 선택한 선택 기준 5가지 중에서 먼저 고려되어야 하는 우선순위를 정해봅시다.

<우리 모둠이 정한 선택 기준>

1.

2.

3.

4.

5.

내가 생각할 때, 가장 먼저 고려되어야 할 선택 기준부터 우선순위를 정해봅시다.

<내가 정한 우선순위>

1.

2.

3.

4.

5.

◆ 내가 생각한 가장 먼저 고려되어야 할 기준과 가장 마지막에 고려해도 될 기준은 무엇인가요? 그 이유는 무 엇인가요?

◆ 모둠원과의 토의를 통해 선택 기준들의 우선순위를 정해봅시다.

사회적 합의와 인공지능 활용의 책임성

수업용 ppt 25-47p

1-2. 자율주행 셔틀 버스의 윤리적인 설계 가이드라인 만들기

◎ 앞에서 정한 우선순위를 고려하여, 우리 모둠만의 자율주행 셔틀 버스의 윤리적 설계 가이드라인을 만들어봅시다.

1-3. 자율주행 셔틀 버스의 윤리적인 설계 가이드라인 공유하기

◎ 다른 모둠과 자율주행 자동차의 윤리적 설계 가이드라인을 서로 공유해봅시다.

◆ 가장 많은 모둠에서 1순위로 선택한 기준은 무엇인가요?

2. 인공지능 개발 및 사용의 책임성

인공지능은 우리 삶을 매우 편리하게 만들어주고 있습니다. 하지만 앞의 주제⋅에서 배운 것처럼 인공지능은 신 뢰성, 편향성, 의도적인 악용과 같은 문제⋅가 발생할 수 있습니다. 인공지능으로 인한 혜택을 충분히 누리기 위해 서는 이러한 문제⋅가 발생하지 않도록 다 같이 노력해야 합니다. 이를 위해서 많은 사람의 책임감 있는 참여가 필 요합니다.

우리는 자율주행이 자동차의 윤리적 가이드라인을 만들 때 사람들 사이의 사회⋅적인 합의가 필요하다는 것을 이 야기했습니다. 자율주행이 자동차의 딜레마 상황처럼, 인공지능과 관련하여 발생할 수 있는 문제⋅에 예방 및 대응 하기 위해서는 인공지능을 개발하는 단계, 개발된 인공지능을 제⋅공하는 단계, 그리고 이를 사용하는 단계까지 인 공지능과 관련이 있는 모든 사람이 책임감을 느끼고 다양한 노력을 해야 합니다.

◎ 인공지능을 개발하고 사용하는 데에는 다음과 같은 사람들이 관련되어 있습니다.

분류 내용

인공지능을 개발하는 사람 목적에 맞게 인공지능 모델을 만드는 사람 예: 인공지능 프로그래머

인공지능 도입을 결정하거나 서비스를 제⋅공 하는 사람

프로그래머가 만든 인공지능 모델을 사용하여 사람들에게 서비스 를 제⋅공할지 결정하는 사람

예: 인공지능 추천 모델을 사용할지 결정하는 동영상 스트리밍 사 이트 운영자, 질병을 판단하는 인공지능을 병원에 도입할지 판단 하는 병원 운영자, 인공지능을 면접에 사용할지 결정하는 회⋅사 대 표, 특정 인공지능을 우리나라에서 사용해도 될지 판단하는 정부 관계자 등

인공지능 서비스를 사용하는 사람 인공지능 서비스를 사용하는 사람

예: 인공지능이 상품을 추천하는 인터넷 쇼핑몰 고객, 인공지능을 활용하여 병의 유무를 판단하는 의사 등

사회적 합의와 인공지능 활용의 책임성

수업용 ppt 25-47p

사회적 합의와 인공지능 활용의 책임성

◎ 이제⋅ 인공지능과 관련된 사람들이 인공지능을 개발, 제⋅공, 사용할 때 어떤 책임감 있는 행동을 해 야 할지 정리해봅시다. 인공지능을 활용하기 위해 필요한 책임성과 각각 가장 관련이 깊은 입장을 선 으로 연결해봅시다.

책임성 입장

사회⋅적인 합의를 바탕으로 한 원칙을 세우 고, 그 기준에 맞는 인공지능을 도입한다.

인공지능을 개발하는 사용자들이 믿고 사용할 수 있도록 신뢰할 사람

수 있는 인공지능을 개발한다.

법과 제⋅도 등을 만들어 인공지능으로 발생할 수 있는 문제⋅들에 대한 대비책을 마련한다.

인공지능을 원래 개발된 목적에 맞게 사용한

다. 인공지능을 제⋅공하는 사

사용하는 데이터가 편향되지 않았는지 꼼꼼 람

하게 확인한다.

사용하고 있는 인공지능에서 윤리적인 문제⋅

가 발생하는 경우 서비스를 제⋅공하는 기업⋅이 개선할 수 있도록 알린다.

수업용 ppt 25-47p

인공지능의 악용 가능성과 사회적 영향

수업용 ppt 25-47p

<참고 자료>

https://www.playsw.or.kr/artificial/view/playswtv/687?currentTab=ai_data_video_hello_

ai&path=artificial

★ 주제 마무리

학습한 내용을 정리해봅시다.

이번 프로젝트에서 배운 내용을 생각하며 빈칸을 채워봅시다.

1. 자율주행 자동차를 설계할 때 고려해야 할 윤리적 딜레마로, 사고를 피할 수 없는 상황에 처했을 때 어떤 선택을 하는 것이 옳은지에 대한 문제⋅는 무엇인가요?

-> ( 트롤리 ) 딜레마

2. 인공지능 서비스를 사용하는 사람이 가져야 할 책임성에는 어떤 것이 있나요?

-> 인공지능을 원래 개발된 목적에 맞게 사용한다, 사용하고 있는 인공지능에서 윤리적인 문제가 발생하는 경우 서비스를 제공하는 기업이 개선할 수 있도록 알린다. 등

★ 스스로 평가해볼까요?

이번 주제⋅에서 배운 내용을 생각하며, 스스로 평가해봅시다.

자율주행 자동차와 관련된 윤리적 딜레마 상황에 대한 자신의 생

각을 이야기할 수 있다.

☆ ☆ ☆ ☆ ☆

사회적 합의와 인공지능 활용의 책임성

수업용 ppt 25-47p

・ Shorten, C., & Khoshgoftaar, T. M. (2019). A survey on image data augmentation for deep learning. Journal of Big Data, 6(1), 1-48.

참고자료

학생용 워크시트 – 4. 인공지능의 책임성

인공지능 윤리

소프트웨어야 놀자 AI 윤리 교육 시리즈 프로젝트 - 4

학생용 워크시트

인공지능의 책임성

학생용 워크시트 – 4. 인공지능의 책임성

생각열기

내가 하인츠의 입장이라면, 약을 (훔칠 것이다 / 훔치지 않을 것이다).

왜냐하면

친구들과 내 생각이 완전히 일치하나요? 아마도 그렇지 않았을 것입니다. 이러한 몇몇 윤리적인 문제들은 명확 한 정답이 없는 딜레마 상황을 포함하고 있기 때문입니다. 윤리적 딜레마란 도덕적으로 어떤 결정을 해야 할 때, 위의 예시처럼 여러 가치가 서로 충돌하여 쉽게 결정할 수 없는 난처한 상황을 말합니다. 이렇게 윤리적인 딜레 마 상황과 마주했을 때, 우리는 어떤 방식으로 문제를 해결해야 할지에 대해 깊게 고민하게 됩니다.

인공지능을 개발하고 활용하는 과정에서도 이러한 윤리적 딜레마 상황이 생길 수 있습니다. 또, 윤리적인 딜레 마 상황 외에도 앞에서 배운 것처럼 인공지능의 신뢰성, 편향성, 악용 가능성으로 인한 문제 역시 발생할 수 있습 니다. 이러한 문제를 예방하기 위해 사람들은 다양한 시도와 노력을 하고 있지만, 모든 상황을 예상하고 방지하 기는 어렵기 때문에 문제가 발생할 가능성이 여전히 존재합니다.

인공지능을 활용하면서 사고 또는 문제가 발생할 경우 우리는 어떻게 문제를 해결할 수 있을까요? 또, 인공지능 과 관련된 문제에 대해 예방 및 대처하기 위해서는 어떤 책임 의식을 가져야 할까요? 이번 주제에서는 인공지능 으로 인해 발생할 수 있는 윤리적 딜레마 상황에 대해 알아보고, 그 외에 여러 가지 인공지능 문제 상황에 어떻게 대비하면 좋을지 이야기를 나눠보겠습니다.

왼쪽의 영상 속 내용은 유명한 ‘하인츠 딜레마’ 이야기입니다. 이 야기 속 하인츠는 약을 훔치지 않는 것이 옳았을까요? 아니면 약 을 훔치는 것이 옳은 일이었을까요? 여러분이라면 어떻게 행동했 을지 생각해보세요. 또, 그 이유는 무엇인지 친구들과 이야기해보 세요.

https://youtu.be/xfv47K0U_LM

인공지능의 책임성이란 인공지능 기술을 사용하면서 사회적인 문제가 발생했을 경우, 다양한 사람들이 어떻게 해결하고 대처하는 것이 좋을지에 대해 고민하는 것입니다. 사람 간에 문제가 발생한 경우에는 잘못한 사람이 법 에 의하여 처벌 받게 됩니다. 하지만 인공지능으로 인해 발생한 문제라면 어떻게 될까요? 인공지능을 만든 개발 자의 잘못일까요? 아니면 인공지능을 사용한 사용자의 잘못인가요? 그것도 아니라면 이 인공지능 도입을 결정 하거나 서비스를 제공하는 사람의 잘못일까요?

인공지능과 관련된 문제들 중에는 많은 상황이 복합적으로 얽혀 있어서 누가 잘못했다고 한 번에 대답하기 어 려운 경우가 있습니다. 특히 앞서 이야기했던 윤리적 딜레마 상황에서 문제가 발생한 경우, 누구에게 어떻게 책 임을 물을 것인지에 대한 답은 더욱 찾기 어려워집니다.

원리 이해하기

학생용 워크시트 – 4. 인공지능의 책임성

학생용 워크시트 – 4. 인공지능의 책임성

1. 자율주행 자동차와 트롤리 딜레마

1-1. 트롤리 딜레마란

트롤리 딜레마에 대해 들어본 적 있나요? 트롤리란 흔히 ‘광차’로 번역되는데, 광차는 광산 등 공사 현장에서 모 래 등을 수송하던 열차입니다. 트롤리 딜레마는 대표적인 윤리적 딜레마 예시로, 트롤리가 사고를 피할 수 없는 상황에 처했을 때 어떤 선택을 하는 것이 옳은지를 묻는 문제입니다. 다음 상황을 보고, 여러분이라면 어떤 선택 을 할지 생각해봅시다.

< 상황 >

당신은 트롤리의 방향을 조종할 수 있는 기관사입니다. 트롤리가 매우 빠른 속도로 질주하고 있는데, 열차가 가 는 방향 앞에 다섯 명의 사람들이 철로를 점검하는 작업을 하고 있습니다. 속도가 너무 빠르기 때문에 브레이크를 잡아도 제때 멈출 수 없고, 다섯 명의 사람들과 충돌할 수밖에 없는 절박한 상황이 되었습니다.

그런데 이때 다른 방향으로 갈라진 철로에는 한 명의 사람이 일하고 있습니다. 당신은 열차가 달리는 방향을 조종 할 수 있습니다. 당신은 열차를 지금 방향 그대로 가게 유지할 것인가요? 아니면 직접 장치를 조종해 방향을 바꿀 것인가요?

원리 이해하기

변환기를 당겨야 하나 말아야 하나...

◆ 여러분이라면 어떤 선택을 하실 건가요?

◆ 그 이유는 무엇인가요?

원리 이해하기

학생용 워크시트 – 4. 인공지능의 책임성

학생용 워크시트 – 4. 인공지능의 책임성

1-2. 자율주행 자동차와 트롤리 딜레마

트롤리 딜레마를 자율주행 자동차와 관련지어 생각해볼 수 있습니다. 자율주행 자동차가 피할 수 없는 사고를 마주했을 때, 트롤리 딜레마와 같은 상황에서 어떤 선택을 하는 것이 옳을까요? 다양한 윤리적 딜레마 상황을 체험해보고, 각각의 상황에서 자신이 판단한 결과를 아래 표에 기록해봅시다.

기준 나의 결과

가장많이 살려준 캐릭터 가장 많이 희생된 캐릭터

희생자 숫자의 중요도

(숫자가 많은 쪽을 살려야 한다고 생각 하는 정도)

승객 보호 선호도

(자율주행 자동차에 탑승 중인 승객을 보호해야 한다고 생각하는 정도)

법규 준수 여부의 선호도

(신호를 지키는 사람을 살려야 한다고 생각하는 정도)

개입에 대한 회피 선호도

(자율주행 자동차가 가고 있는 방향을 직접 바꾸는 것을 피하는 정도)

성별 선호도

종에 대한 선호도

연령 선호도

체력 선호도

사회적 가치관 선호도

(범죄자가 아닌 사람을 구해야 한다고 생각하는 정도)

원리 이해하기

중요하지 않음 매우 중요함

중요하지 않음 매우 중요함

중요하지 않음 매우 중요함

중요하지 않음 매우 중요함

남성 여성

인간 애완동물

젊은이 노인

건강인 비만인

높음 낮음

1-3. 생각 나누기

◎ 모둠원과 결과를 비교해보고, 모둠원이 가장 많이 살려준 캐릭터와 가장 많이 희생된 캐릭터를 적어 봅시다.

◆ 모둠원이 선택한 가장 많이 살려준 캐릭터는 무엇인가요?

◆ 모둠원이 선택한 가장 많이 희생된 캐릭터는 무엇인가요?

◆ 나의 선택과 모둠원의 선택을 비교해보고, 비슷한 점과 다른 점에 대해 이야기해봅시다.

원리 이해하기

학생용 워크시트 – 4. 인공지능의 책임성

학생용 워크시트 – 4. 인공지능의 책임성

원리 이해하기

◎ 모둠원과 결과를 비교해보고, 모둠원끼리 가장 결과가 비슷했던 항목(기준)과 가장 결과가 다르게 나온 항목(기준)을 적어봅시다.

◆ 모둠원끼리 가장 결과가 비슷한 항목(기준)은 무엇인가요?

예) 종에 대한 선호도

◆ 모둠원끼리 가장 결과가 다르게 나온 항목(기준)은 무엇인가요?

예) 승객 보호 선호도

◆ 모둠원과의 결과를 비교해보고 알게 된 점을 이야기해봅시다.

원리 이해하기

◎ 다음 동영상을 보고, 물음에 답해봅시다.

◆ 자율주행 자동차에게 윤리적 딜레마 문제가 발생했을 때 자율주행 자동차의 선택을 결정하기 위한 기준을 어 떻게 정해야 할까요?

◆ 이와 같이 인공지능 기술과 관련된 윤리적 딜레마 상황에 대해 미리 생각해보고 이야기를 나누는 일은 왜 중요 할까요?

https://youtu.be/ixIoDYVfKA0

학생용 워크시트 – 4. 인공지능의 책임성

학생용 워크시트 – 4. 인공지능의 책임성

자율주행 자동차의 트롤리 딜레마 상황에서 누구를 구할 것인가에 대한 의견은 국가마다 크게 다르고, 문화나 경제와도 깊은 연관이 있다고 합니다. 예를 들어, 한국이나 중국 같은 노약자를 존중하는 문화권에서는 젊은이보 다 노약자를 살리는 선택을 하는 경향이 있었습니다.

이처럼, 인공지능과 관련된 딜레마 문제는 사람마다, 그리고 국가나 문화권마다 생각하는 정답이 모두 다릅니 다. 따라서 이러한 문제에 대한 대처 방안은 인공지능을 만드는 개발자나 사용하는 사용자 등 적은 수의 사람이 결정해서는 안 되고, 많은 사람이 사회적인 기준을 합의해서 결정해야 할 필요가 있습니다. 여러분 역시 인공지 능 시대를 살아갈 사람들로서, 이러한 문제에 대해 미리 생각해보는 것은 매우 가치 있는 일이라고 할 수 있습니 다.

원리 이해하기

< 젊은이와 노약자를 살리겠다고 선택한 비율 >

1. 자율주행 셔틀 버스의 윤리적 설계 가이드라인 만들기

자율주행 셔틀버스의 윤리적 설계 가이드라인이란, 학생들이 학교나 학원, 유치원 등을 갈 때 타고 다니는 셔틀 버스를 자율 주행할 수 있도록 개발할 때 참고해야 할 규칙 또는 원칙들의 모음을 말합니다. 앞에서 살펴본 것과 같은 딜레마 상황이 발생했을 때, 자율주행 셔틀버스의 윤리적 설계 가이드라인을 만들어 두어야 그 원칙대로 셔 틀버스가 판단을 할 수 있습니다.

자율주행 셔틀버스의 설계 가이드라인을 만들 때 가장 중요한 것은 사회적인 합의가 필요하다는 점입니다. 딜레 마 상황에서는 어떤 선택을 하는 것이 옳은지에 대한 명확한 정답이 없기 때문에, 혼자만의 기준으로 가이드라인 을 만들어 인공지능의 선택 방향을 결정해 버리면 그 결정에 대해 다른 사람들은 공정하지 않다고 생각할 수 있 습니다. 따라서 여러 사람의 의견을 모아서 합의를 거쳐 기준을 정할 필요가 있습니다. 물론 그 안에서 받아들여 지지 않는 의견도 있을 수 있지만, 대화를 통하여 여러 사람의 의견을 반영하여 사회적인 합의를 끌어낸다면 더 욱더 많은 사람이 동의할 수 있는 가이드라인이 만들어질 수 있을 것입니다.

생각해보기

학생용 워크시트 – 4. 인공지능의 책임성

학생용 워크시트 – 4. 인공지능의 책임성

1-1. 선택 기준 및 우선순위 정하기

◎ 다음 선택 기준 7가지 중에서 반드시 고려되어야 하는 것을 5가지 정해봅시다.

<선택 기준>

더 많은 사람을 보호하는 것, 승객을 보호하는 것, 횡단보도 신호를 준수한 사람을 보호하는 것, 성별, 동물보다는 사람을 보호하는 것, 나이, 범죄자보다는 범죄자가 아닌 사람을 보호하는 것

◆ 내가 생각할 때, 반드시 고려해야 할 5가지는 무엇인가요?

◆ 그 이유는 무엇인가요?

◆ 모둠원과의 토의를 통해 반드시 고려해야 할 5가지 선택 기준을 정해봅시다.

생각해보기

생각해보기

◎ 앞에서 선택한 선택 기준 5가지 중에서 먼저 고려되어야 하는 우선순위를 정해봅시다.

<우리 모둠이 정한 선택 기준>

1.

2.

3.

4.

5.

내가 생각할 때, 가장 먼저 고려되어야 할 선택 기준부터 우선순위를 정해봅시다.

<내가 정한 우선순위>

1.

2.

3.

4.

5.

◆ 내가 생각한 가장 먼저 고려되어야 할 기준과 가장 마지막에 고려해도 될 기준은 무엇인가요? 그 이유는 무 엇인가요?

학생용 워크시트 – 4. 인공지능의 책임성

학생용 워크시트 – 4. 인공지능의 책임성

1-2. 자율주행 셔틀 버스의 윤리적인 설계 가이드라인 만들기

◎ 앞에서 정한 우선순위를 고려하여, 우리 모둠만의 자율주행 셔틀 버스의 윤리적 설계 가이드라인을 만들어봅시다.

생각해보기

생각해보기

1-3. 자율주행 셔틀 버스의 윤리적인 설계 가이드라인 공유하기

◎ 다른 모둠과 자율주행 자동차의 윤리적 설계 가이드라인을 서로 공유해봅시다.

◆ 가장 많은 모둠에서 1순위로 선택한 기준은 무엇인가요?

◆ 가장 많은 모둠에서 마지막 순위로 선택한 기준은 무엇인가요?

학생용 워크시트 – 4. 인공지능의 책임성

학생용 워크시트 – 4. 인공지능의 책임성

생각해보기

2. 인공지능 개발 및 사용의 책임성

인공지능은 우리 삶을 매우 편리하게 만들어주고 있습니다. 하지만 앞의 주제에서 배운 것처럼 인공지능은 신뢰 성, 편향성, 의도적인 악용과 같은 문제가 발생할 수 있습니다. 인공지능으로 인한 혜택을 충분히 누리기 위해서 는 이러한 문제가 발생하지 않도록 다 같이 노력해야 합니다. 이를 위해서 많은 사람의 책임감 있는 참여가 필요 합니다.

우리는 자율주행이 자동차의 윤리적 가이드라인을 만들 때 사람들 사이의 사회적인 합의가 필요하다는 것을 이 야기했습니다. 자율주행이 자동차의 딜레마 상황처럼, 인공지능과 관련하여 발생할 수 있는 문제에 예방 및 대응 하기 위해서는 인공지능을 개발하는 단계, 개발된 인공지능을 제공하는 단계, 그리고 이를 사용하는 단계까지 인 공지능과 관련이 있는 모든 사람이 책임감을 느끼고 다양한 노력을 해야 합니다.

◎ 인공지능을 개발하고 사용하는 데에는 다음과 같은 사람들이 관련되어 있습니다.

분류 내용

인공지능을 개발하는 사람 목적에 맞게 인공지능 모델을 만드는 사람 예: 인공지능 프로그래머

인공지능 도입을 결정하거나 서비스를 제공 하는 사람

프로그래머가 만든 인공지능 모델을 사용하여 사람들에게 서비스 를 제공할지 결정하는 사람

예: 인공지능 추천 모델을 사용할지 결정하는 동영상 스트리밍 사 이트 운영자, 질병을 판단하는 인공지능을 병원에 도입할지 판단 하는 병원 운영자, 인공지능을 면접에 사용할지 결정하는 회사 대 표, 특정 인공지능을 우리나라에서 사용해도 될지 판단하는 정부 관계자 등

인공지능 서비스를 사용하는 사람 인공지능 서비스를 사용하는 사람

예: 인공지능이 상품을 추천하는 인터넷 쇼핑몰 고객, 인공지능을 활용하여 병의 유무를 판단하는 의사 등

생각해보기

◎ 이제 인공지능과 관련된 사람들이 인공지능을 개발, 제공, 사용할 때 어떤 책임감 있는 행동을 해 야 할지 정리해봅시다. 인공지능을 활용하기 위해 필요한 책임성과 각각 가장 관련이 깊은 입장을 선 으로 연결해봅시다.

책임성 입장

사회적인 합의를 바탕으로 한 원칙을 세우 고, 그 기준에 맞는 인공지능을 도입한다.

인공지능을 개발하는 사용자들이 믿고 사용할 수 있도록 신뢰할 사람

수 있는 인공지능을 개발한다.

법과 제도 등을 만들어 인공지능으로 발생할 수 있는 문제들에 대한 대비책을 마련한다.

인공지능을 원래 개발된 목적에 맞게 사용한

다. 인공지능을 제공하는 사

사용하는 데이터가 편향되지 않았는지 꼼꼼 람

하게 확인한다.

사용하고 있는 인공지능에서 윤리적인 문제 가 발생하는 경우 서비스를 제공하는 기업이 개선할 수 있도록 알린다.

인공지능 서비스와 제품을 출시한 이후에도 개발한 인공지능 프로그램을 지속해서 관리

학생용 워크시트 – 4. 인공지능의 책임성

학생용 워크시트 – 4. 인공지능의 책임성

자율주행 자동차와 관련된 윤리적 딜레마 상황에 대한 자신의 생

각을 이야기할 수 있다.

☆ ☆ ☆ ☆ ☆

자율주행 셔틀 버스의 윤리적 설계 가이드라인을 만들고, 인공지

능의 책임성에 대해 이야기할 수 있다.

☆ ☆ ☆ ☆ ☆

주제 마무리

★ 스스로 평가해볼까요?

이번 주제에서 배운 내용을 생각하며, 스스로 평가해봅시다.