STEAM R&E 연구결과보고서

STEAM R&E 연구결과보고서

(교과 성취도를 예측하는 인공신경망 모형 개발)

2016. 11. 30.

언양고등학교

< 연구 결과요약 >

과 제 명 교과 성취도를 예측하는 인공신경망 모형 개발

연구목표 - 수학과 공학 관점에서 인공신경망 학습 이론 분석 - 인공신경망을 활용한 고교 교과 성취도 예측 모형 개발

연구내용

기존의 수학 성적과 설문지 조사 결과를 사용하여 수학 성적을 예측하는 인공 신경망 모형을 개발하였다.

I. ^수학I 기말고사 점수를 구간 예측하는 신경망 Model 1 개발

1. 수학I 기말고사 최고 점수(증가 경향 점수)를 예측하는 Model1_1 개발 -74개 samples로 학습

input은 언양고등학교 2015학년도 수학I 증가경향 중간고사 점수와 5개 설문지 답, target은 해당 학생의 수학I 기말고사 점수이다.

2. 수학I 기말고사 최저 점수(감소 경향 점수)를 예측하는 Model1_2 개발 -72개 sample로 학습

input은 언양고등학교 2015학년도 수학I 감소경향 중간고사 점수와 5개 설문지 답, target은 해당 학생의 수학I 기말고사 점수

3. Model1_1, Model1_2과 추천생활습관을 포함시킨 GUI Model1 개발 II. ^수학II 중간고사 점수를 구간 예측하는 신경망 Model 2 개발

1. 수학II 중간고사 최고 점수(증가 경향 점수)를 예측하는 Model2_1 개발 -64개 samples로 학습

input은 언양고등학교 2015학년도 수학I 증가경향 기말고사 점수와 5개 설문지 답, target은 해당 학생의 수학II 중간고사 점수이다.

2. 수학II 중간고사 최저 점수(감소 경향 점수)를 예측하는 Model2_2 개발 -82개 samples로 학습

input은 언양고등학교 2015학년도 수학I 감소경향 기말고사 점수와 5개 설문지 답, target은 해당 학생의 수학II 중간고사 점수

3. Model2_1, Model2_2과 추천생활습관을 포함시킨 GUI Model2 개발 III. Model 1과 Model 2의 예측 능력 검증

1. Model 1의 예측 능력 검증

input은 언양고등학교 2016학년도 수학I 중간고사 점수와 5개 설문지 답, target은 해당 학생의 수학I 기말고사 점수로 예측 능력이 우수함을 검증하였다.

2. Model 2의 예측 능력 검증

input은 언양고등학교 2016학년도 수학I 기말고사 점수와 5개 설문지 답, target은 해당 학생의 수학II 중간고사 점수로 예측 능력이 우수함을 검증하였다.

IV. random 데이터를 사용하여 Model 1과 Model 2를 검증 - 무작위로 1000개 sample를 1000개 set 생성하였다.

- 이 데이터를 Model 1과 Model 2에 입력하여 얻은 결과보다 학생의 실제 수학 성적 을 대입하여 얻은 결과가 뛰어남을 확인했다.

- 따라서 Model 1과 Model 2가 학생 성적 경향을 반영했음을 검증했다.

연구성과

○ 언양고등학교 학생을 위한 수학 성적 예측 인공 신경망을 개발하였다.

○ 학생 관점

Matlab이 설치되지 않은 PC 에서고 사용 가능한 Model1과 Model2 실행파일을 학생들에게 제공함으로써, 성적예측신경망으로 자신의 현재 성적과 생활습관으로 미래의 성적을 예측해 보거나, 추천된 생활습관으로 변경하여 미래의 성적을 예측해 봄으로써, 학생 스스로 자신의 미래 성적에 자극을 받아 더 분발할 수 있는 동기를 얻게 될 것이다.

○ 교사 관점

학생 상담이나 생활지도에 활용할 수 있다.

○ 농어촌 학생들에게 빅 데이터 분석과 코딩의 필요성 강조효과

언양고등학교는 농어촌 지역에 위치하여 대도시에 비하여 빅 데이터 분석과 코딩의 필요성에 덜 노출되었다.

학생들의 최대 관심사인 수학성적을 데이터를 분석하여 Matlab이라는 공학용 소프 트웨어로 만든 인공 신경망으로 예측할 수 있다는 사실만으로도 언양고등학교 학생 들이 빅 데이터 분석과 코딩의 필요성을 절감하게 될 것이다.

알파고 만큼은 아니겠지만 언양고 학생들이 데이터 분석과 코딩에 더 많은 관심을 가질 것으로 기대한다.

주요어 (Key words)

언양고등학교, 인공지능, 인공신경망, 역전파오류 알고리즘, Matlab, 수학I, 수학II, 성적 학업성취도, 수학 시험 점수 구간 예측

< 연구 결과보고서 >

교과 성취도를 예측하는 인공신경망 모형 개발

1. 개요

□ 연구목적

○ 지역 특성 및 학교 요건 - 같은 환경의 공유

울산시 울주군에 위치한 언양고등학교는 농어촌 학교로 타 학교들보다 비교적 많은 학생들이 야간 자율학습까지 학교에 남아 공부를 하고, 입학생의 출신지역이 대부분 언양이며, 대부분의 입학생은 언양 소재 2개의 중학교 졸업생이다.

- 학업 성취 요인 동일

언양고등학교의 많은 학생들이 같은 환경 속에서 공부 하므로 언양고등학교에서 학업 성취 주요 요인은 교과목 성적이라고 할 수 있다.

○ 연구 동기

- 수학성적 예측과 요인 분석의 필요성

고등학교 생활에서 대부분의 학생들에게 가장 큰 비중을 차지하는 것은 아마 성적일 것이다. 왜냐하면 자신의 성적에 따라 진학할 수 있는 대학교가 제한되기 때문이다.

따라서 우리는 평소에도 성적을 증가시키기 위해 공부 방법을 바꾸어 보거나, 생활습 관을 변화시키며 자신에게 맞는 최적의 조건을 알아내려 한다. 특히 여러 과목들 중 특성상 수학이 제일 주목을 받는데, 그 이유는 이공계 계열 학생들의 대부분은 수학을 공부하는 데 많은 시간을 투자하기 때문이다. 하지만 그런 시도들 중 대부분은 객관적 지표의 부재로 인해 실패에 그치고 만다. 우리는 이런 상황을 개선하고자 자신의 시험 성적을 예측하고, 성적과 관련된 생활습관과 외부 요인들을 분석하여 개선 방안을 제시하기로 하였다.

- 알파고와 이세돌의 대국

인공지능 신경망을 성적을 예측하는데 사용하게 된 결정적인 이유는 바로 알파고와 이세돌의 대국이었다. 우리는 이 대국들을 지켜보며 알파고의 작동 원리에 대해 관심을 갖게 되었고, 알아보던 도중 ‘인공지능 신경망’을 접하게 되었다. 우리는 이것 에 대해 조금 더 알아보았고, 성적을 수학적 모델링으로 예측하는데 사용할 수 있다 생각되어 인공지능 신경망을 활용하게 되었다.

○ 연구 목적

- 수학과 공학 관점에서 인공신경망 학습 이론 분석

인공신경망의 구조와 학습 과정에 필요한 수학적 접근법과 인공신경망 알고리즘 구현에 필요한 공학적 접근법을 이해한다.

- 인공신경망을 활용한 고교 교과 성취도 예측 모형 개발

인공신경망에 대한 수학적이고 공학적인 접근법의 이해를 바탕으로 참여 학생이 재학 중인 언양고등학교의 학생들의 교과 성적을 훈련 데이터(Training data)와 검사 데이터(Test data)로 이용하여 재학생의 교과 성적 성취도를 예측할 수 있는 인공신경 망 모형을 개발한다.

- 언양고등학교 학생들의 공부환경 이해

모델을 구축하고 여러 관점으로 분석을 함으로써 언양고등학교 학생들의 성적을 예측하고, 수면 시간, 아침식사 등 외부 요인이 실제로 학생들에게 어떠한 영향력을 행사하는지 각 요인별 민감도를 확인하여 성적별 개선 방안과 학교 전체의 공부 환경을 이해한다.

- 교과 성취도 예측을 통한 환경 개선 방안 마련

교과 성취도 예측 모형으로 단순히 학생의 성적 성취도만을 예측하는 것이 아니라 성취도 향상에 도움이 될 수 있는 개선 방안을 제시한다.

- 연구를 통한 분석능력 증진

학교 교과과정에서는 접해보기 힘든 종류의 경험인 연구를 함으로써 거의 모든 부분 을 자신들이 계획하고, 기준이나 신뢰성, 타당성을 유지시키는 과정에서 상황을 체계 적으로 분석하는 능력을 증진시킨다. 또한 결과 자체를 여러 관점으로 해석함으로써 여러 분석 기법들을 익힌다.

- 코딩에 대한 기본적 학습

모델을 구축하고, 나온 결과값들을 우리가 원하는 관점으로 해석하는데 사용될 기본 적 코딩 단어나, 문장들을 배우고 암기식이 아닌 인터넷을 통해 검색하여 자신이 원하는 명령어를 찾을 수 있게 하는 능력을 기른다.

□ 연구범위

○ 연구 범위 - IT 공학의 활용

우리들의 최종 목적은 교과 성취도를 예측하는 것이다. 이를 위해 현재 IT 공학에서 새롭게 떠오르고 있는 인공신경망 기술을 활용하여 학생들이 교과 성적을 더욱 효율 적으로 관리할 수 있게 한다.

○ 진행 단계

- 훈련(train)시킬 입력값(input)과 목표값(target) 결정

input data와 target data는 둘 다 우리가 가질 수 있는 데이터들로만 구성되어 있어야 한다. 따라서 input data는 수학 성적과 우리가 언양고등학교 1,2학년에게 나누어줄 설문지(참고자료 1, 2)의 질문들에 대한 답으로 구성한다. 또한 target data는 input data에 투입한 시험을 기준으로 바로 다음에 친 시험(서술형 제외)의 점수로 설정한 다. 예를 들면, 수학I 중간고사 성적이 input이면 수학I 기말고사 성적이 target이 된다.

- 설문지 조사

input data를 얻기 위해 1,2학년을 대상으로 수학 성적과 관련되어 있다고 생각되는 요인들에 대한 질문을 설문지(참고자료 1: 설문지)에 기술하여 배포한다. 나온 결과를 OMR카드로 작성하여 OMR기기에 투입해 학생들의 고유번호(개인정보 보호법에 의하여 이름은 사용할 수 없음)와 해당 학생이 작성한 답을 대응시킨다.

- 성적을 증가, 감소 경향으로 분리

한 시험과 그 다음시험의 관계에서 일관적인 경향성이 보이지 않으므로 각각 학생의 input data의 수학 성적과, target data의 수학성적을 표준점수(10*(원점수-평균)/표 준편차+50)로 변환하여 관계를 파악해서 증가 경향, 감소 경향(참고자료 4)을 보이는 학생으로 분리한다.

- 인공지능 신경망을 통한 학습

한 학생에 대해 input data(그 학생의 성적, 설문지에 대한 답)과 target data로 인공신경망을 학습시킨다. 즉, 증가경향 input으로 학습시킨 신경망(Model1_1, Model2_1)과 감소경향 input으로 학습시킨 신경망(Model1_2, Model2_2)을 따로 개발한다.

- 코딩을 통한 GUI(실행파일) 생성

인공지능 신경망(Model1_1, Model1_2, Model2_1, Model2_2)은 증가경향 예상점수, 감소경향 예상점수만 출력하므로 GUI를 만들 때 추가적인 코딩을 통해 추천하는 생활 습관 개선 방향도 출력값에 포함되게 한다.

- 만들어진 모델의 출력값에 대한 정확도 측정

모델을 train할 때 쓰이지 않은 데이터를 test용으로 신경망에 입력하여 감소경향

출력점수와 증가경향 출력점수 사이에 target 점수가 들어가는 비율을 확인하고, 사이 구간을 5, 10, 15% 증가시켰을 때 들어가는 비율도 각각 확인한다. 또한 구간들의 길이를 평균을 내어 조사한다.

- 각각의 input 값에 대한 민감도(sensitivity) 분석

코딩을 통해 각각의 입력노드에 연결되어 있는 링크의 weight값을 분석하여 민감도 를 알아낸다. 이 과정을 통해 어떤 요인이 제일 지배적으로 작용하는지, 또는 어느 요인이 연관성이 떨어지는 지 조사한다.

- random data 생성을 통한 경향성의 존재여부 확인

코딩을 통해 random data를 우리가 만든 신경망에 입력하여 얻은 정확도와 모델을 train할 때 쓰이지 않은 데이터를 test용으로 신경망에 입력하여 얻은 정확도를 비교 하여 우리가 만든 모델을 검증한다. (정확도는 위와 같게 증가 감소 출력값으로 만든 구간 안에 target이 들어가는 비율로 측정한다.)

2. 연구 수행 내용

□ 이론적 배경 및 선행 연구

○ 이론적 배경

- Back propagation algorithm(오차역전파 알고리즘)

오차 역전파 알고리즘은 인공신경망을 학습시키는 기본적인 방법으로 입력층(input layer), 은닉층(hidden layer)과 출력층(output layer)으로 구성되어 있다.

각 층은 노드를 가지고 있다. 예를 들면 입력층(input layer)에는 입력 노드, 은닉층에 는 은닉노드, 출력층에는 출력노드가 있다. 특히 ,입력층에는 입력노드 외에 1값을 가지는 편차항( bias)가 포함된다. 각 입력노드와 각 은닉노드를 연결하는 링크가 존재하고 각 링크는 가중치(weight)를 가진다.

예를 들어 노드와 가중치의 작용원리를 기술하면 다음과 같다.

입력노드 2개(^{}), 은닉노드 1개(^), 출력노드 1개(^), 가중치 를 가진 아래와 같은 신경망이 있다.

그림1. 간단한 신경망. 입력노드 2개, 은닉노드 1개, 출력노드 1개.

여기서

net_h(은닉노드의 순 입력)은 입력을 w(가중치)로 조정한 값을 받아들이는 것이다.

net_  ∙   ∙   ∙.

out_h(은닉노드의 출력)은 ^neth을 값으로 가지는 sigmoid 함수값으로 matlab에서는 다음과 같은 출력함수 (activation function)를 이용한다.

out_h 

  e^{ neto}

    e i ∙ w  i ∙ w   ∙ w



net_o(출력노드의 순 입력)은 은닉노드의 출력을 w4(가중치)로 조정한 값을 받아들이 는 것이다.

net_o out_h∙w.

out_o(출력노드의 출력)은 ^neto을 값으로 가지는 함수값으로 matlab에서는 다음과

같은 출력함수 (activation function)를 이용한다.

out_o out_h∙ w

그림1에서 결정해야 할 변수는 4개 가중치 이다.

이 가중치를 오차역전파 알고리즘으로 결정하는 기본 아이디어를 간단히 설명하면 다음과 같다.

그림2. 가중치를 결정하기 위한 1개의 sample (input 0.7, 0.6과 target 0.78)

임의로 가중치 의 값을 정한 후

Ewwww_{ }



 





  e i ∙ w  i ∙ w   ∙ w

 





이 되도록 의 값을 편미분을 사용하여 점진적으로 구한다. (참고문헌: A Step by Step Backpropagation Example)

4개 가중치 w  w  w  w  를 구하게 되면 1개의 학습데이터 (input 0.7, 0.6과 target 0.78)로 만든 인공신경망이 완성된다.

그림3. 1개의 학습데이터 (input 0.7, 0.6과 target 0.78)로 만든 인공신경망

○ 선행 연구 - 국내연구

학술연구정보서비스(RISS) 검색창에서 검색어 “신경망 학업”으로 검색한 결과, 학위 논문은 “신경망을 이용한 부진아 수준 진단 지원 시스템”에 관한 학위논문(참고문헌:

정중하) 외 6편과 “인공신경망을 이용한 학업 흥미도 예측시스템”를 주제로 하는 국내논문(참고문헌: 이용규, 권승아)외 4편이 검색되었다.

- 해외연구

인공신경망을 이용하여 대학생을 대상으로 학업 부진, 또는 자퇴하는 요인을 분석하 는 연구(참고문헌: Siri,A. 와 Teshnizi, S. H. & Ayatollahi, S. M. T.)와 대학생 또는 고등학생의 성적을 정성적으로 예측하는 연구(참고문헌: Livieris, et al, Usman, O.

L. & Adenubi, A. O. 와 Wei, X)가 있다.

○ 선행 연구와의 차이점

- 한국 인문계 고등학교의 수학 내신 성적 예측

인공신경망으로 성적을 예측한 연구들은 많지만, 대부분은 대학교 학생을 대상으로 하거나 고등학생을 대상으로 해도 정성적인 예측을 목적으로 진행되었다. 그리고 대학교와 고등학교의 특성의 차이는 분명하므로 기존 연구들의 결과물은 고등학생 을 대상으로 성적예측에 활용할 수 없다. 또한 연구들의 상당수는 해외에서 진행되어 졌기 때문에, 국가적인 차이를 고려하면 해외 연구도 마찬가지로 한국 고등학생들에 게 그대로 적용하기에는 한계가 있다. 따라서 우리는 이번 연구를 통해, 대한민국 인문계 고등학생들에게 전반적으로 적용될 수 있는 모델의 틀을 제시했다. - 성적 외의 요인들을 분석, 학교의 특성에 맞게 개선 방안 마련

입력(input)에 성적 이외의 관련 요인들을 투입하는 경우는 여러 연구에서 볼 수 있었지만, 우리는 그 과정에서 더 나아가 요인별 비중을 민감도(sensitivity)분석을 통해 파악하고, 코딩과정을 통해 다음 학기에 시험성적이 더 잘 나오려면 어떤 생활습 관을 가져야 하는지 알려주는 실행파일을 제작하였다. 이 실행파일에서 추천하는 생활습관은 train 시키는 데이터에 따라 달라지므로, 각 학교의 특성을 반영한 결과가 나올 것으로 기대할 수 있다.

□ 연구주제의 선정

○ 연구 방향 설정 과정 - 코딩에 대한 관심

STEAM R&E를 접하기 전에도 우리 팀원 중 세 명은 전국 슈퍼컴퓨팅 캠프에 참가하 려고 신청서를 냈을 만큼 프로그램에 대한 관심이 많았다. 따라서 우리들은 토의 끝에 이번 R&E를 기회로 삼아 프로그램을 활용하여 문제를 해결하거나, 연구를 하는 것으로 방향을 잡았다.

- 알파고의 열풍

연구 동기에도 명시되어 있지만, 알파고와 이세돌의 대국은 우리들에게 프로그램이

‘예측’ 도 할 수 있다는 것을 알게 된 계기가 되었다. 왜냐하면 알파고에 대해 찾아보던 도중, 우연히 ‘인공신경망’이란 단어를 접하게 되었기 때문이다. 그 당시 우리는 그 단어에 대해 별로 신경을 쓰지 않았지만, 그 이후 수학성적을 예측하는 프로그램을 만들자는 제안이 나왔을 때 다시 ‘인공신경망’이라는 단어에 대해 조사해 봤고, 그 제안이 우리가 가진 지식의 수준과 적당한 시간동안 공부를 하면 연구를 충분히 시작 가능하겠다는 생각을 갖게 해주었다.

- 우리의 최대 관심사인 성적을 인공신경망으로 예측

고등학생의 최대 관심사는 성적이므로 성적 예측을 인공신경망으로 다루어 보기로 결정하고 문헌 조사를 하였다. 그 결과 인터넷 조사를 통하여 우리의 관심사를 해결해 줄 수 있는 연구가 없다는 것을 알고 “성적 예측을 위한 신경망 제작”을 하기로 결정하였다. 언양고등학교 학생 데이터를 이용하여 만든 신경망 모형은 첫째로 언양 고 학생이 기존 자신 성적으로부터 미래의 성적을 예측하고 둘째로 학습에 도움을 주는 예측 신경망 모형이 되도록 개발하기로 하였다.

○ 전문가의 자문

- 코딩에 사용할 소프트웨어 자문

시간을 절약하기 위하여 우리가 목표로 하는 인공신경망의 개발을 위해서 어떤 소프 트웨어를 사용하면 좋은지에 대한 자문을 울산대 수학과에 문의했고 신경망 패키지 가 포함되었고 실행파일까지 만들 수 있는 Matlab을 추천받았다. Matalb을 구입하여 언양고등학교 컴퓨터 실습실에 Matlab을 설치하였고 시간을 절역하기 위하여 신경 망 패키지 사용법을 자문 받았다.

- 신경망 학습에 필요한 수학적 이론 자문

신경망의 가중치를 계산하는 오차역전파 알고리즘에 대한 수학적 이론을 자문 받았 다.

□ 연구 방법

○ input, target data의 선정할 때 사용된 방법 - 용어 정리

- input, target data 선정

우리가 설문조사한 학년은 1학년과 2학년이므로, 정확도를 확인하기 위해선 1학년

때 친 성적을 인공지능 신경망을 학습시킬 데이터로 활용해야 한다. 따라서 우리는 수I 중간고사 성적(증가, 감소경향 따로 분리해서)을 input으로 사용하고, 수I기말고 사 성적(증가, 감소경향 따로 분리해서)을 target으로 학습시킨 모델과, 같은 방법으로 수I 기말고사 성적을 input으로 하고, 수II 중간고사 성적을 target으로 하는 모델을 만들기 위해 필요한 성적들을 선정했다.

- 표준점수로의 변환

매 시험마다 난이도가 바뀌므로 평균과 표준편차도 변한다. 따라서 만약 표준점수로 예측값을 출력하지 않는다면 시험성적을 예측할 때 다음 시험의 평균과 표준편차까 지 예측해야 돼서 정확도와 신뢰성이 현저히 감소한다. 그러므로 우리는 input, target data에 있는 시험 성적을 모두 표준점수로 변환시킨 뒤 입력했고, 실제 실행 프로그램 에 나오는 예측값도 표준점수로 출력되게 하였다.

- 증가, 감소경향으로의 분리와 외부요인 투입

표준점수로 변환한다 해도 여전히 문제는 남아있다. 바로 ‘찍기’현상에 의한 경향성 의 감소이다. 일관적인 경향성이 존재해야 모델의 예측능력, 즉 정확도가 증가하는데, 많은 학생들이 시간 안에 문제를 풀지 못하면서 남은 문제를 순전히 랜덤으로 찍어버 리기 때문이다. 이 때문에 수학성적에는 ‘수학문제를 푸는 능력’뿐만 아니라 ‘운’이라 는 요소가 개입하게 되어 예측이 매우 힘들어지는 상황을 만든다. 이런 상태에서 실제로 경향성을 조사해본 결과, 상대적으로 매우 낮은 경향성을 보였다. 우리는 이런 문제를 해결하고자 두 가지 방법을 사용하였다.

첫째, 경향성을 증가시키기 위해 같은 시험의 성적을 예측하는 인공신경망 모델을 증가경향 모델, 감소경향 모델로 분리하여 학습시켰다. 증가경향 모델의 input data 와 target data에 사용된 학생들의 성적은 표준점수로 변환한 이후에 input data에 사용된 것보다 target data에 사용된 것이 높은 경우이다. 감소경향 모델은 이와 반대의 성향을 띈 학생들의 성적을 사용했다.

둘째, input data에 성적 이외의 요인을 투입하여 ‘운’의 개입 여부를 최대한 감소시켰 다. input node에 ‘성적’이라는 요인 단 하나만 있었다면 그 요소가 output전체를 결정지었겠지만, 다른 요인들을 투입하면서 성적이 찍기 현상 때문에 경향성을 감소 시켜도 다른 요인들로 인해 input node에 혼자 있는 경우보다는 감소가 덜할 것이기 때문이다.

- input data에 쓰인 질문 선정 기준

모델에 실제로 쓰인 질문들은 5개<참고자료2: 최종질문>였지만 처음에는 40개를 정하고 시작했다. 그 다음 팀원들 간의 충분한 토의 이후에 설문지에 쓰일 12개의 질문들을 그 중 선정하였다. 선정 기준은 ‘학생들이 거리낌 없이 대답할 수 있는 정도의 사생활을 묻는 질문인가?’, ‘수학 성적과 어느 정도 연관성이 있는가?’, 와

‘정확성을 해치지 않을 만큼의 종류의 보기를 소유하고 있는 질문인가?’ 등이 있었다.

이렇게 설문지를 작성하여 배포하고 결과를 산출한 후, 우리가 미처 고려하지 못한 기준들로 다시 질문들을 평가하니 최종적으로 모델에 쓰일 5가지의 질문들이 결정되

었다.

- 설문지 결과 산출 기법

학생들에게 종이로 설문지를 배포한 후, 종이에 표시되어 있는 보기들을 팀원들이 각자 양을 나누어서 OMR카드에 옮겨 적은 후, OMR분석 기기를 통해 결과값을 받은 후, 엑셀로 학생의 고유번호와 답을 대응시켜 파일을 작성하였다.

○ 모델을 학습할 때 쓰인 방법

- 학습 기법으로 Levenberg-Marquardt back propagation 선택

모델을 학습할 때 사용한 기법은 Levenberg-Marquardt back propagation이다. 이 기법을 선택한 이유는 대부분의 신경망에서 사용하는 검증된 방법이고 Matlab 패키 지에서도 추천하는 방법이기 때문이다.

- 신경망 구조

6개의 노드를 가지는 입력층, 10개 뉴런을 가지는 1개의 은닉층, 1개의 노드를 가지는 출력층으로 구성된다. <참고자료3: 인공신경망 구조>

○ GUI(그림 4,5,6,7)를 제작할 때 쓰인 방법

- 증가, 감소 경향모델 둘 다 사용하여 한 GUI를 생성

우리가 원하는 것은 어디까지나 성적의 ‘예측’이다. 하지만 우리는 경향성의 증가를 위해 증가경향 점수와 감소경향 점수로 나누어 인공신경망을 설계했고, 따라서 GUI 에는 한 시험에 대한 예측의 결과를 이 둘 중 하나가 아닌, 둘 다 포함하였다. 따라서 우리는 차후 모델의 정확도를 측정할 때 실제 한 학생이 받은 점수가 GUI에서 증가, 감소 경향 모델에서 출력된 값들의 구간 사이에 있는지 측정하는 방법을 택했다. - GUI에서 ‘추천 아침식사 횟수’와 ‘추천 수면시간’을 출력한 방법

우리가 질문 5개 중 단 두 개만 추천하는 값으로서 출력한 이유는 나머지 세 가지 질문(성별, 현제 자매의 존재 여부, 출신 중학교)은 변경할 수 없기 때문이다. 따라서 우리는 변경 가능한 남은 두 가지 질문을 택하였다. 또한 코딩을 통하여 출력값 (output)을 산출했다(그림 4,5,6,7). 코딩으로 생성한 기본적 작용 방법은 성적과 출력 되지 않는 세 가지 질문들(변경 불가능한)은 고정시키고, 남은 두 가지 질문에 대한 답들의 가능한 모든 조합을 인공신경망에 대입한다. 그럴 때 증가 경향 점수가 가장 높게 나온 답들의 조합을 출력칸에 보이는 것이다.

○ 결과 분석, 검증 방법

- 구간의 평균 크기를 구하여 정확성 확인

실제 target data가 모델에 의해 생성된 구간 안에 들어가는 비율을 통해 어느 정도 정확도를 측정할 수 있지만, 구간의 크기를 측정해야지만 확실하게 판별이 가능하다.

만약 구간 안에 포함되었던 비율이 매우 높아도 구간의 크기 자체가 매우 크다면,

그 모델은 신뢰성이 떨어진다는 평가를 받게 될 것이다. 따라서 구간의 크기를 평균을 내어 확인해봤다. 마찬가지로 코딩을 하여 결과값을 도출해 냈다.

- 증가경향 점수와 감소경향 점수가 역전되는 구간의 비율을 파악

인공신경망을 훈련(train)시키고 나서 나오는 결과를 분석하다 보면, 우리의 예상에 벗어나는 결과들이 도출될 때가 있다. 이번 경우가 그랬는데, 실제로 연구를 진행하고 모델에 test data를 투입해서 돌려보니, 출력값에서 증가경향 점수보다 감소경향 점수가 더 높게 측정되는 점수대가 존재했다. 따라서 우리는 이런 구간이 실제로 어느 정도의 비율로 분포하는지 코딩을 통해 확인을 했다.

- 각각의 input node에 해당하는 weight값을 이용한 민감도 분석

우리가 선정한 요인들이 우리의 예상만큼 수학성적에 영향을 미치는지, 그리고 영향 을 미친다면 과연 어떤 요인이 제일 지배적인 요인인지를 파악하려면 각 요인에 대한 weight값을 분석하여 민감도를 파악해야 한다. 조사한 결과, 민감도를 결정하는 방법은 여러 가지가 존재했으므로 그 중 우리는 한 input data에 해당하는 각 weight 값에 절대값을 취하여 더하는 형태로 코드를 작성하여 파악하는 방법을 사용했다. 또한 Hinton diagram을 이용하여 각 input data에 해당하는 weight값을 시각화하여 제시했다.

- matlab의 random number(난수 생성)을 이용한 경향성 검증

우리가 생성한 모델이 실제로 임의로 생성한 숫자들과 달리 어떠한 경향성과 정확성 을 소유하고 있다는 사실을 확인하기 위해 난수 생성을 통한 검증을 진행했다. 코딩을 통해 같은 환경(input 과 target data의 숫자 범위)에서 임의로 숫자를 생성하여 모델에 투입한 후, target이 증가경향 점수와 감소경향 점수의 사이구간에 오는 비율 을 확인하여 정확도를 측정했다. 그리고 우리가 실제로 제작한 모델의 정확도도 같은 방식으로 실제 data를 사용하여 측정한 후 비교했다.

○ 전문가의 자문

디버깅이 안 되거나 그림 작성하는 코드에 대하여 자문을 받았다.

□ 연구 활동 및 과정

○ 가설 설정과 시행착오 - 전반적인 흐름

우리는 인공지능 신경망을 만들고, 예측하는데 쓰일 데이터를 선정하고 가공하는 과정에서 많은 시행착오를 겪었다. 모두 다 처음 해보는 경험이었기 때문에, 정확한 예측과 의미를 도출해 내기 위한 데이터를 만들어내는데 까지 여러 모델들을 거쳐 갔다. 아래에 서술된 사례들은 현재의 모델과 데이터 선정이 정해지기까지 우리가 생각해내고, 문제점이 발견되어 다른 형태로 넘어가는 과정들을 간략하게 설명하는 것들이다.

- 초기 안

초기에 우리는 input를 하나의 성적으로만 구성하고, output을 총 7개의 성적과 등급을 산출해내는 프로그램을 제작하려고 시도하였다<참고자료4: 초기 GUI>. 하지 만 서술형 성적과 나머지 객관식의 성적간의 경향성이 현저히 떨어지고, 한 개의 input data만으로 7개의 output을 산출하면 정확도가 매우 낮을 것이라고 생각하여 다른 방법을 찾기로 하였다.

- 1차 수정안

초기 안을 수정하여 우리는 서술형, 등급을 예측하는 출력칸을 제외하였다. 따라서 우리가 이때 목표로 한 모델은 한 개의 입력칸과 3개의 출력칸을 소유한 모델이었다

<참고자료5: 1차 수정GUI>. 하지만 원점수의 형태로 예측값을 출력하려면 해당 시험에 대한 평균과 표준편차 역시 예측해야 했는데, 평균과 표준편차 역시 경향성이 높은 편은 아니어서 이 모델 역시 수정하게 되었다.<참고자료6: 시험별 정규분포표의 변화>.

- 2차 수정 모델

이전 모델을 수정하여 한 개의 시험에 대한 성적만 예측하도록 모델을 구성하였고, 정확도를 최대한 증가시키기 위해 증가, 감소경향 점수로 분류하였고, 또한 각각의 점수에 대해 난이도 상, 중, 하의 상황에 따라 다르게 출력되게끔 모델을 만들었다<참 고자료7: 2차 수정 GUI>. 실제로 증가, 감소경향을 보이는 점수들로 분류하니 경향성 이 육안으로 판별될 만큼 증가하였지만<참고자료8: 증가, 감소경향 점수에 대한 경향성 분석>, 어떤 점수를 기준으로 난이도를 분류할지 불확실하여 조금 더 개선시 켜 보기로 하였다.

- 3차 수정 모델(현재 모델)

난이도 분류는 확실한 기준을 정립할 수가 없어서 포기하였다. 또한 input data에서 성적을 포함하여 8개의 입력칸을 정하였고, 출력칸도 마찬가지로 기존과는 다르게 성적 이외의 요인을 고려하여 개선안을 포함시켰다(그림 4,5,6,7).

○ 실험 과정 - 용어 정의

1. model1_1

수I기말 증가경향 점수를 예측하는 모델이다.

2. model1_2

수I기말 감소경향 점수를 예측하는 모델이다.

3. model2_1

수II중간 증가경향 점수를 예측하는 모델이다.

4. model2_2

수II중간 감소경향 점수를 예측하는 모델이다.

5. model1 GUI

model1_1과 model1_2를 사용해 수I기말 감소경향 점수와 증가경향 점수 사 이의 구간을 파악할 수 있게 해주는 실행파일이다.

6. model2 GUI

model2_1과 model2_2를 사용해 수II중간 감소경향 점수와 증가경향 점수 사이의 구간을 파악할 수 있게 해주는 실행파일이다.

- input, target data에 쓰일 성적 가공하기

학생들 이름 대신 고유번호로 전환된 input, target에 쓰일 성적 파일을 받아 엑셀을 이용해 표준점수로 변환한다. 이후 엑셀을 이용해input data에 쓰인 성적과 target data에 쓰인 성적을 비교하여 input 쪽이 높으면 감소경향으로, target 쪽이 더 높으면 증가경향으로 분류한다.

- 설문조사를 통해 학습할 때 쓰일 질문들에 대한 답 조사

우리가 배포한 설문지를 통해 학생들이 낸 답을 OMR카드를 통해 엑셀에서 각 고유 번호와 대응시킨다.

- input, target data에서 쓰일 모든 데이터를 결합

증가, 감소경향으로 분리된 고유번호에 질문에 했던 답과 성적을 대응시켜 최종적인 엑셀 파일로 만든다<참고자료9: input-target data 완성본>.

- 가공된 데이터를 이용하여 인공지능 신경망 학습 총 4개의 모델을 matlab을 이용해 학습시켜 생성한다.

다음 과정은 수I기말의 증가경향 점수를 예측하는 model1_1을 학습시키는 과정이다.

1. matlab의 neural network에서 학습시킬 input data와 target data를 선택한다.

2. train data, validation data, test data의 비율을 각각 선택한다.

3. 학습시킬 모델의 인공지능신경망에 있는 hidden layer의 개수를 설정한다.

4. Levenberg-Marqurdt기법을 사용하여 모델을 학습시킨다.

이 과정에서 생성된 모델은 총 4개(model1_1, model1_2, model2_1, model2_2)이다.

5. 학습시킨 모델에 대한 데이터를 얻어 데이터 종류별 상관계수를 분석한다.

<참고자료: model1_1R>

6. 다른 모델들도 이와 같은 방식으로 학습시키고, 상관계수를 확인한다.

<참고자료: model1_2의R분석>, <참고자료: model2_1의R분석>, <참고자료:

model2_2의R분석>

- 각 모델별 민감도 분석

코딩을 통해 민감도 분석을 모델별로 시행하여 각 모델마다 어느 input node의 민감도가 제일 높은지 확인한다. hinton diagram에서 사각형의 색깔은 음수인지 양수인지 판별하는데 쓰이고, 크기는 절댓값의 크기를 나타낸다.( 빨-음수, 초-양수, 사각형의 크기는 숫자의 절댓값의 크기에 비례한다.) 또한 오른쪽의 막대그래프에서 y축의 지표인 sensitivity가 높을수록 민감도가 높다고 해석한다.

1. model1_1의 민감도

2. model2_2의 민감도

3. model2_1의 민감도

4. model2_2의 민감도

위 결과를 통해 성적이 제일 민감도가 높을 때도 있지만, 우리의 생각과는 다르게 실제로 성적 이외의 요인이 더 민감도가 높을 수 있다는 사실을 알 수 있다.

- GUI별 정확도 확인

앞에서 서술했듯이 GUI의 정확도는 예측한 구간 안에 실제 성적 데이터가 포함된 비율을 확인하는 방식으로 진행되었다. 그래프의 x축에 0, 0.05, 0.1, 0.15 변동의 뜻은 변동의 수치만큼 원래 구간의 길이에서 증가시켰다는 것이다. 예를 들어 0.1 변동 이라면, 구간의 원래 길이에 (1+0.1)배 만큼 곱하여 측정했다는 것이다.

1-1. model1 GUI의 정확도

1-2 model1 GUI의 환경에서 난수 생성(random data)을 하여 측정한 정확도

2-1. model2 GUI의 정확도

2-2. model2 GUI의 환경에서 난수 생성(random data)을 하여 측정한 정확도

위 결과를 통해 임의로 형성된 random data와 실제 모델을 비교해 보았을 때, 실제 모델의 정확도가 월등히 높다는 것을 통해 신뢰도가 높다는 것을 알 수 있다.

- 예측 구간 보존율 확인

한 입력값에 대해 증가경향 점수보다 감소 경향 점수가 높게 나오는 경우가 어느 정도의 비율로 발생하는지 확인한다. 그래프의 x축은 학생들의 고유번호를 나타낸 다. 또한 y축은 표준점수를 나타낸 것이다. 초록색 선은 정상적으로 예측구간이 나온 것, 검은색 선은 예측구간이 역전되어 나온 것이다.

1. model1 GUI의 보존율

2. model2 GUI의 보존율

위 결과를 통해 보존되는 구간이 각각 82.1%와 91.3%로 높은 비율을 차지하고 있다는 것을 알 수 있다.

○ 연구 활동 사진 - 연구 진행할 때

-자문을 받을 때 ○ 월별 연구 추진 실적

5월: Matlab 소개와 역전파 알고리즘의 수학적 이론 학습

6월: 언양고등학교 1학년, 2학년, 3학년 수학 성적 데이터 확보 및 가공 7월: 언양고 수학 성적 분포 분석 및 연구 결과물 디자인

8월: 중간보고서 작성 및 발표

9월: 설문지 문항 개발, 설문조사 및 분석

수학I 기말 증가 경향과 감소경향 예측 신경망 완성 10월: 수학II 중간 증가 경향과 감소경향 예측 신경망 완성 11월: 결과보고서 작성

○ 시설 활용 실적

언양고등학교 컴퓨터실과 전자칠판, Matlab이 설치된 언양고등학교 컴퓨터, 울산대학교에서 사용할 수 있는 학술검색시스템(RISS) 활용

○ 전문가 자문 내역

인공 신경망에 적합한 소프트웨어 Matlab을 추천받았고 신경망 가중치를 계산할 때 사용하는 역전파 알고리즘의 수학적 이론을 소개 받았다. 디버깅이 안 되거나 그림 작성하는 코드에 대하여 자문을 받았다.

3. 연구 결과 및 시사점

□ 연구 결과

○ 연구 과정 요약

입력노드가 6개인 입력층, 10개의 뉴런을 가지고 있는 은닉층 1개, 1개의 노드를 가진 출력층으로 구성된 인공신경망을 개발하였다.

- 수학I 기말고사 성적을 예측하는 Model1 개발

2015학년도 수학 I 중간성적과 5개 질문의 답을 입력 데이터로, 수학I 기말 성적을 target으로 사용하여 증가 경향 수학I 기말 점수를 예측하는 Model1_1과 감소 경향 수학I 기말 점수를 예측하는 Model1_2를 만들었다.

Model1_1과 Model1_2을 결합하여 수학I 기말 점수가 포함될 구간을 예측하는 Model1을 완성하였다.

- 수학II 중간고사 성적을 예측하는 Model2 개발

2015학년도 수학 I 기말성적과 5개 질문의 답을 입력 데이터로, 수학II 중간 성적을 target으로 사용하여 증가 경향 수학II 중간 점수를 예측하는 Model2_1과 감소 경향 수학II 중간 점수를 예측하는 Model2_2를 만들었다.

Model2_1과 Model2_2을 결합하여 수학II 중간 점수가 포함될 구간을 예측하는 Model2을 완성하였다.

- Model1과 Model2의 검증 1

2016학년도 수학 I 중간성적과 5개 질문의 답을 입력 데이터로, 수학I 기말 성적을 target으로 사용하여 Model1에서 출력되는 수학I 기말 예측점수 구간에 2016학년도 수학 I 기말성적이 포함되는 비율을 계산하여 Model1의 정확도를 검증하였다. 마찬 가지 방법으로 2016학년도 수학 I 기말성적과 5개 질문의 답을 입력 데이터로, 수학II 중간 성적을 target으로 사용하여 Model2의 정확도를 검증하였다.

- Model1과 Model2의 검증 2

random 데이터를 생성하여 Model1와 Model2의 정확도를 계산하였다.

○ 연구 결과

- Model1 실행파일과 GUI 제작

수학I 기말고사 성적을 예측하는 Model1 개발했고 Model1의 실행파일을 클릭하면 다음과 같은 GUI가 생긴다.

그림4. Model1 GUI - Model1 GUI 설명

수학I 기말고사 성적을 예측하는 Model1의 GUI에 수학I 중간 성적 60점, 평균 15점, 표준편차 12점을 입력한 후, 실행버튼을 누르면 수학I 기말 증가경향 점수 85.1778과 감소경향 점수 70.1156이 출력된다. 더불어 증가경향 점수가 최대가 되도록 하는 아침식사와 수면시간의 횟수가 출력된다.

그림5. Model1 GUI 출력 - Model2 실행파일과 GUI 제작

수학II 중간고사 성적을 예측하는 Model2 개발했고 Model2의 실행파일을 클릭하면 다음과 같은 GUI가 생긴다.

그림6. Model2 GUI

- Model2 GUI 설명

수학II 중간고사 성적을 예측하는 Model2의 GUI에 수학I 기말 성적 65점, 평균 15점, 표준편차 12점을 입력한 후, 실행버튼을 누르면 수학II 중간 증가경향 점수 67.10128 과 감소경향 점수 53.1675가 출력된다. 더불어 증가경향 점수가 최대가 되도록 하는 아침식사와 수면시간의 횟수가 출력된다.

그림7. Model1 GUI 출력결과

□ 시사점

○ 여러 종류의 경험 - 코딩을 통한 학습

이 R&E를 시작하기 전에도 우리는 코딩의 중요성에 대해 어느 정도 자각하고 있었지 만, 정확히 코딩이 무엇이고, 어떤 방법으로 이루어지는지 잘 알지 못하였다. 그렇지 만 이번 R&E를 진행하면서 우리가 원하는 방법으로 모델과 GUI를 만들기 위해서 코딩을 배우고, 필요한 명령어를 인터넷에 검색하면서 찾는 과정에서 조금 더 ‘코딩’

이란 개념에 익숙해졌다. 또한 직접 코딩을 하면서 디버깅을 하는 방법, 명령을 보기 편하고 간단하게 하는 법 등, 고등학교에서는 잘 경험하지 못할 것들을 경험하며 사고의 범위를 넓힐 수 있었다.

- 팀원들 간의 협력

이번 연구를 진행하며 우리는 많은 양의 일을 해야 했다. 이 과정에서 개인별로 혼자 일을 해나가는 것이 아닌, 팀원들과의 유기적인 일 분배와 토의를 통해 진행해 나가며 협력심을 기를 수 있었다.

- 주체적 연구 진행

이번 연구에서 연구의 설계와 진행과정의 대부분을 우리 팀이 진행했다. 그러나 모두들 다 처음 접하는 분야였고, 게다가 하나라도 설계가 잘못되면 결과값이 나와도 우리가 원하는 대로 해석이 되지 않으니 처음에는 우리 모두 매우 힘들었다. 한번 방향을 잡고 구체적인 사항들을 진행해 나가다 보면 논리적 오류나 프로그램의 한계 에 부딪혀서 다시 원점으로 되돌아와 진행했던 경험도 많이 하였다. 하지만 이런 경험을 통해 우리는 시간이 지날수록 처음 설계를 할 때 주의를 많이 기울였고, 그 결과 최종적으로는 우리가 원하는 목표를 달성할 수 있게 프로그램을 작성하는 것이 가능하게 되었다.

○ 한계점 - 데이터의 양

우리가 현재 가진 데이터는 현 1학년과 2학년의 데이터이다. 하지만 합쳐도 약 300개 인 이 데이터로는 정확하게 예측하는데 한계가 존재한다.

- ‘찍기’에 대한 대응책

성적 이외의 요인을 input data에 투입하면서 비교적 성적의 민감도를 분산시켰지만, 여전히 문제는 남아있다. 학생들이 자신들의 실력이 아닌 운으로 번호를 마킹하면서 일어나는 예측의 불확실성은 아직 우리가 해결해야 할 문제로 남아있다.

4. 홍보 및 사후 활용

□ 사후 활동

○ 학교 내 사후 활동 - 동아리 형성

우리 학교는 컴퓨터 관련 동아리가 존재하지만, 그곳에서는 동영상 만들기 등을 중심으로 활동이 이루어지고 있다. 우리는 우리가 배운 이 지식을 활용하여 학생들이 코딩에 관심을 가지고, 여러 분야를 예측하는 모델을 만들 수 있게 해 주는 동아리를 만들려고 한다.

- input, target data개수의 증가

한계점에서 데이터의 개수가 부족하여 정확도가 감소한다고 서술하였다. 따라서 우리는 시간이 지나면 신입생이 들어오며 데이터의 개수가 증가할 것이라 전망한다. 내년에 신입생이 들어와 실제로 우리가 사용할 수 있는 데이터의 개수가 증가한다면, 다시 한 번 모델을 훈련시켜 예측을 해 볼 것이다.

○ 학교 외 사후 활동 - 응용 범위의 확대

현재 연구의 결과물은 언양고등학교의 환경을 분석하는데 만 쓰일 수 있다. 하지만 학습 데이터를 달리 한다면 학교 내의 환경이 아닌 전국적인 범위로도 이 모델을 적용할 수 있을 것이다. 우리는 이 모델을 먼저 다른 학교에도 적용시켜 보고, 전국적 범위로도 적용이 가능하게 차후 시간이 되면 변경해 나갈 것이다.

□ 홍보 활동

○ 적용 사례

- 현 1학년을 대상으로 시행

최종적으로 쓰일 GUI를 만든 후, 우리는 직접 현 1학년을 대상으로 실행 프로그램을 체험하게 하였다<참고자료: 1학년 대상 실행 사진>. 시행 후 피드백을 받아 향후 과제에 반영하기도 하였다<참고자료: 1학년 후기>.

5. 참고문헌

이용규, 권승아(2015), 인공신경망을 이용한 학업 흥미도 예측시스템, 한국지능시스템학회 학술발표 논문집, 25(2), 193-194

정중하(2006), 신경망을 이용한 부진아 수준 진단 지원 시스템 : 중학교 국어 교과를 중심으로, 여수대학교 교육대학원

A Step by Step Backpropagation Example(2015). Retrieve from : https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/

Livieris, I. E., Drakopoulou, K., & Pintelas, P. (2012). Predicting students' performance using artificial neural networks. In Proceedings of the 8th Pan-Hellenic Conference

“Information and Communication Technology in Education.

Siri, A.(2015), Predicting Students’ Dropout at University Using Artificial Neural Networks, Italian Journal of Sociology of Education, 7(2), 225-247.

Teshnizi, S. H. & Ayatollahi, S. M. T. (2015), A Comparison of Logistic Regression Model and Artificial Neural Networks in Predicting of Student’s Academic Failure, Acta Inform Med., 23(5), 296–300.

Usman, O. L. & Adenubi, A. O. (2013). Artificial neural network (ann) model for predicting students' academic performance, Journal of Science and Information Technology, 13(2), 61-71.

Wei, X.(2011), Student Achievement Prediction Based on Artificial Neural Network. In:

Internet Computing & Information Services (ICICIS), 2011 International Conference on.

IEEE, 485-487.

6.참고자료

[참고자료1: 설문지]

설 문 지

1. 귀하의 성별은?

(1) 남 (2) 여

2. 귀하는 아침식사를 일주일에 몇 번 정도 하십니까?

(1) 하지 않는다 (2) 1~2회 (3) 3~4회 (4) 5회 이상

3. 귀하는 어디 중학교를 졸업하셨습니까?

(1) 언양중 또는 신언중 (2) 그 외 중학교

4. 귀하는 형제자매가 있습니까?

(1) 예 (2) 아니오(외동)

5. 귀하는 기숙사에서 등, 하교한 학기가 총 몇 회입니까?

(1) 없음 (2) 1~2회 (3) 3~4회 (4) 5~6회

6. 귀하는 수학학원을 다닌 학기가 총 몇 회입니까?

(1) 없음 (2) 1~2회 (3) 3~4회 (4) 5~6회

7. 귀하는 음악을 들으면서 수학을 공부하는 시간이 전체 수학 공부시간의 몇 퍼센트입니까?

(1) 20％ 미만 (2) 20％ ~ 40％ (3) 40％ ~ 60％

(4) 60％ ~ 80％ (5) 80％ 이상

8. 귀하는 현재 수학 문제집을 몇 권을 사용하십니까?

(※ 교과서, 개념서, 부교재 제외) (1) 사용하지 않는다 (2) 1권 (3) 2권 이상

9. 귀하는 하루 평균 휴대폰 사용 시간이 어떻게 되십니까?

(※ 여가시간에 활용하는 휴대폰 시간)

(1) 사용하지 않는다 (2) 30분 이내 (3) 30분~1시간 (4) 1~1.5시간 (5) 1.5시간 이상

10. 귀하는 하루 평균 인터넷 강의를 어느 정도 시청하십니까?

(1) 보지 않는다 (2) 0~1시간 (3) 1~2시간 (4) 2시간 이상

11. 귀하는 하루 평균 수면시간이 어느 정도 되십니까?

(※ 학교에서 자는 시간 포함)

(1) 5시간 이내 (2) 5~6시간 (3) 6~7시간 (4) 7시간 이상

12. 귀하는 하루 평균 운동시간이 어느 정도 되십니까?

(※ 학교 체육시간 제외)

(1) 10분 이내 (2) 10분~20분 (3) 20분~30분 (4) 30분 이상

설문에 응해주셔서 감사합니다.

[참고자료2: 최종질문]

1. 귀하의 성별은?

(1) 남 (2) 여

2. 귀하는 어디 중학교를 졸업하셨습니까?

(1) 언양중 또는 신언중 (2) 그 외 중학교

3. 귀하는 형제자매가 있습니까?

(1) 예 (2) 아니오(외동)

4. 귀하는 아침식사를 일주일에 몇 번 정도 하십니까?

(1) 하지 않는다 (2) 1~2회 (3) 3~4회 (4) 5회 이상

5. 귀하는 하루 평균 수면시간이 어느 정도 되십니까?

(※ 학교에서 자는 시간 포함)

(1) 5시간 이내 (2) 5~6시간 (3) 6~7시간 (4) 7시간 이상

[참고자료3: 인공신경망] [참고자료4: 초기 GUI]

[참고자료5: 1차 수정 GUI] [참고자료6: 시험별 정규분포표의 변화]

[참고자료7: 2차 수정 GUI] [참고자료8: 증가, 감소경향 점수에 대한 경향성 분석]

[참고자료9: input target data완성본] [참고자료10: model1_1R]

<참고자료11: model1_2의R분석> <참고자료12: model2_1의R분석>

<참고자료13: model2_2의R분석> <참고자료14: 1학년 대상 실행 사진>

[참고자료 15: 1학년들의 피드백]

1.내가 점수랑 다 알았을 때 정확히 알고 싶다.

2.아침 식사 횟수나 취침 시간의 정확도를 조금 더 높이면 좋겠습니다.

이외는 도움이 되지 않아 제외하였다.