1) 잠재역량 관련 internal sensor 추론 모델 개발 - Internal sensor 정의 및 구성요소
l 외부 자극에 의해 인간의 신체에서 일어나는 내재적 상태 변화
l 비 접촉식 센서로부터 얻어지는 얼굴과 눈동자, 심전도, 동공 등 미 가공된 데이터를 이용하여 추론 가능한 동공 크기 변화율, 눈 깜빡임 횟수, 시선의 움직임, 시선 응시시간, 심장박동의 횟수 변화 등을 추론함.
l EEG 센서로부터 얻어지는 뇌파 신호로부터 power spectrum density, coherence value, phase locking value 등을 추론함.
l Bio-marker외 잠재역량 진단에 사용될 수 있는 internal sensor 요소 발굴 및 검증.
l 잠재역량 관련 mental state로 호불호, 집중도, 감정 등을 선정함.
그림 51. Internal sensor 구성요소
2) Internal sensor 추론 모델 개발 - 동공 크기 변화율
l 시선추적기를 이용하여 측정한 동공 크기로부터 노이즈 제거 후, 동공 크기 변화율 (%) 추출.
l 화면 intensity level에 따른 동공 크기 변화 보정 (Jang et al., Neurocomputing 2014)
×
left pupil :
right pupil :
l 눈 깜빡임으로 인해 기록되지 않은 구간은 선형 보간 후, 5-point moving average filter를 적용하여 노이즈 감소.
l 베이스라인으로부터의 평균 동공 크기 변화율 (%) 추출함.
1) 100
(
experimental data baseline - ´l 데이터 3구간(pre-test, during-test, post-test)으로 나누어 internal sensor 추론
§ pre-test (expectation) : 문제가 제시되기 직전 5초, cognitive resource를 할당할 준비를 하는 구간
§ during-test (processing) : 문제를 푸는 구간, 문제가 제시되고 피실험자가 정답 버튼을 누르기까지의 구간
§ post-test(end) : 문제 풀고 난 후의 구간, 피실험자가 정답 체크한 이후 5초
그림 52. Division of processing period
- 눈 깜빡임 횟수
l 웹카메라를 이용하여 캡쳐한 사용자의 상반신 영상으로부터 영상처리 알고리즘 을 이용하여 초당 눈 깜빡임 횟수 추출
l ensemble of randomized regression trees (Kazemi et al., CVPR 2014) 방법으 로 눈 영역 검출 (68개의 landmark 검출)
그림 53. Facial landmarks 검출 결과
l 왼쪽과 오른쪽 눈의 landmark좌표를 이용하여 vertical length 평균길이 계산함.
그림 54. vertical length 정의
l 일반적으로 눈을 감았을 때 눈의 세로 길이가 눈을 떴을 때보다 작으므로 임계 값(TH)을 설정하여 눈 깜빡임을 검출함. 대부분의 경우에 TH=10.
그림55. 감은 눈과 뜬 눈을 구별하기 위한 임계값 설정
l 눈 깜빡임 횟수 추론 모델의 성능 98.42 %
§ BioID face database (https://www.bioid.com/About/BioID-Face-Database)를 이용하여 눈 깜빡임 검출 성능을 비교함
§ 공용 DB인 BioID face database는 1,521개의 gray level 이미지를 가지고 있으며, 이미지 해상도는 384×286 pixel 임.
방법 정확도 (%)
Choi, I. et al. (ICCCN, 2011) 96.00 Jo, H. et al. (Neural Information Processing, 2014) 96.30
Proposed method 98.42
표15. 눈 깜빡임 검출 성능 비교
- 심박변이도 (HRV)
l Biopac MP36 장비를 이용하여 측정한 ECG(Electrocardiogram) 신호로부터 웨이블렛 알고리즘을 이용하여 P-QRS-T wave 검출: db4 모함수를 사용한 8 레벨 웨이블릿 변환 사용함.
그림 56. P-QRS-T wave 검출 결과
l Biopac MP36 장비를 이용하여 측정한 PPG(Photoplethysmographic) 신호는 lowpass filter (10 Hz cutoff)를 적용하여 노이즈를 제거한 후 R peak 검출
그림 57. R peak 검출 결과
l R-Peak 간의 간격(RR 간격), 즉 심박 간격 간의 변화를 나타내는 심박변이도 (heart rate variability, HRV)로부터 다양한 시간-주파수 영역 특징 추출함.
구분 특징 설명
시간 영역
mean 전체 RR 간격의 평균 SDNN 전체 RR 간격의 표준편차
RMSSD 인접한 RR 간격 차이의 root mean square
NNx 인접한 RR 간격 차이가 x milliseconds 보다 큰 개수 pNNx 전체 RR 간격에 대한 NNx 비율(%)
주파수 영역
VLF 0.003-0.04Hz, power spectrum density LF 0.04-0.15Hz, power spectrum density HF 0.15-0.4Hz, power spectrum density LF/HF HF에 대한 LF 비율
표16. HRV의 시간-주파수 영역 특징
- Power Spectrum Density (PSD)
l 뇌파 신호에 Short-Time Fourier Transform을 적용하여, 과제에 따른 뇌파 주파수 대역 파워 값의 차이를 확인함.
l 뇌파 신호에서 대표적인 주파수 대역 영역과 각 영역의 일반적인 의미가 아래 표에 정리되어 있음.
표17. 뇌파 신호의 대표적인 주파수 대역 및 각 특징 주파수 대역 이름 주파수 범위
[Hz] 특징
Delta wave, δ 0.1~3.9 깊은 수면 상태에서 나타남
Theta wave, θ 4~7.9 선잠이 든 상태나 안정적인 상태에서 나타남 Alpha wave, α 8~12.9 이완 상태에서 나타남
SMR wave 12~14.9 집중 상태와 관련 있는 것으로 알려져 있음 Beta wave, β 13~29.9 흥분 상태에서 나타남
Gamma wave, γ 30~50 매우 흥분 상태에서 나타남
- Coherence Value
l Coherence는 주파수 대역에서 서로 다른 두 센서 신호의 크기 정보의 유사성을 보는 방법
는 특정 주파수 f에서 센서 i와 센서 j 간의 joint spectrum을 의미하며,
와 는 특정 주파수 f에서 각 센서 들의 PSD를 의미함.
l 비교하는 두 신호의 주파수 대역의 크기 정보가 유사할수록 coherence 값은 1에 가까워지며, 반대의 경우는 coherence 값이 0에 가까워 짐.
그림 58. 임의의 두 신호에 대한 coherence 계산 결과
그림 59. 주파수 정보가 유사한 두 신호에 대한 coherence 계산 결과
3) 실험절차 및 데이터 수집
l 실험실 환경에서 노이즈가 최소화된 데이터 및 유선 뇌파 장비를 이용하여 정밀한 데이터를 수집하여 잠재역량과 관련된 internal sensor를 분석하고, 과학 적 근거를 찾기 위한 연구를 수행하기 위해 별도의 실험을 계획하여 연령별 데이터를 수집.
l 고등학생 및 대학생 대상 실험을 설계하고 정밀한 데이터를 수집하여 분석한 뒤, 유아 대상 실험의 데이터와 비교 분석함
l 유아 대상 실험의 경우 3차년도와 4차년도에 측정한 DB를 이용하여 분석함.
전체 모집 유아 중 일부 유아들에 추가 장비를 설치하여 분석에 필요한 신호를 측정함.
- 고등학생 대상 실험설계 및 데이터 수집
l 피 실험자: 30명, 일반고등학교 및 영재고등학교 2학년 학생들로 구성 l 실험 task: 언어, 논리수학, 공간 영역
§ 서울특별시 교육청 고등학교 2학년 언어, 수리 영역 학력평가 문제지에서 상, 중, 하 난이도 별로 각 2문항씩 선별하여 구성
§ SSAT 및 GEFT(Group Embedded Figures Test)에서 추출
l 다중지능 점수 측정: 다중지능 설문지와 고용노동부의 직업심리검사 자료를 이용하여 학생들의 다중지능 점수 확인
그림 60. 실험 자극 sample 및 실험순서
고등학생 DB 대학생 DB 유아 DB
- 대학생 대상 실험설계 및 데이터 수집
l 피 실험자: 35명, 다양한 전공(공학, 이학, 인문 등)으로 구성 l 언어, 논리수학, 공간 영역 외에 음악, 자연지능 영역 task 추가
그림 61. 실험 자극 sample
l 실험 장비: Eye tracker, 웹카메라, EEG, ECG(심전도), GSR(피부 전도도), PPG(맥압)
그림 62. 실험 장면 및 실험 장비 소개
l 실험 설계: 새로운 정보 학습(learning, 10개, 각 10초), 문제풀이 (problem solving, 5개) 단계로 실험 설계
그림 63. 실험 순서도
- 다중지능 영역별 지능이 높은 그룹과 낮은 그룹의 인지과정 비교 분석
l 지능이 높은 그룹 (HIs: High Intelligent Individuals)과 낮은 그룹 (LIs: Low Intelligent Individuals)의 internal sensor 및 mental state를 비교/분석하여 차이점을 찾고, 이러한 현상으로부터 인지과정을 추론함.
고등학생 DB 대학생 DB 유아 DB
l ANOVA 분석: 2(group: HIs, LIs) × 2(task difficulty: tough, easy)
l ‘during-test’ 구간에서, 언어 및 공간영역의 어려운 문제를 풀 때 HIs 그룹의 동공크기가 뚜렷하게 커지고 눈 깜빡임은 감소함 (negative correlation). 하지만 논리수학영역에서는 이러한 경향이 나타나지 않음.
l ‘pre-test’ 구간에서, 문제의 난이도 및 다중지능 영역을 통틀어 HIs 그룹의
동공크기가 크고 눈 깜빡임은 증가함 (positive correlation).
l HIs 그룹은 ‘post-test’ 구간에서 어려운 문제를 풀고 난 후 blink burst 발생
Pupil size variation (%) Eye-blink rate (per second)
HIs LIs HIs LIs
Tough Easy Tough Easy Tough Easy Tough Easy
Lang
pre-test 19.06* 11.30* 0.59* 0.52*
during-test 36.1* 2.18* 28.49* 15.03* 0.34* 0.57 0.52* 0.32 post-test 11.2 5.89 -1.72 9.82 0.87* 0.65 0.32* 0.50
Logic
pre-test 15.48* 5.57* 0.55* 0.73*
during-test 7.59* 6.33* 14.3* 11.25* 0.22 0.31 0.46 0.44 post-test 12.14 14.68 14.01 -8.76 0.71* 0.69 0.51* 0.72
Spatial
pre-test 18.41* 2.76* 0.62* 0.54*
during-test 39.71** 7.53* 22.6** 10.24* 0.43 0.22 0.42 0.52 post-test 9.82 17.71 8.03 -1.05 0.89* 0.75 0.41* 0.35**
표 19. 동공크기 변화율(%) 및 초당 눈 깜빡임 횟수
* p < .05; ** p < .01
그림 64. Internal sensor 비교 분석 결과
l HIs 그룹은 다중지능 영역 및 문제의 난이도에 따라 그들의 전략을 바꾸거나 조절하는 반면 LIs 그룹은 그렇게 하지 못함
l HIs 그룹은 언어와 공간 영역의 어려운 문제에서는 resources를 더 많이 할당 함 (resource hypothesis). 복잡한 언어와 공간 영역 문제는 창의적인 생각을 필요로 하며 새로운 형태의 문제일 경우가 많아 extra resources를 더 할당함.
l 반면 논리수학 영역에서는 적은 resources를 할당함 (efficiency hypothesis).
논리수학 영역 문제는 학습한 알고리즘에 의해 풀 수 있는 형태이므로 extra
resources를 할당할 필요가 없음.
l HIs 그룹은 task의 type과 난이도를 빠르게 잘 파악할 수 있고, task type과 난이도에 따라 extra resources를 더 할당하기도 하고 때로는 적은 resources를 할당하기도 함
l HIs 그룹은 ‘pre-test’ 구간에서 LIs 그룹에 비해 지속적으로 집중을 하고 있을 뿐만 아니라 문제를 풀기위해 준비하고 있음
② Coherence value
l 서로 다른 난이도 또는 task 간의 공통으로 유의미하게 나타나는 전극들의 비율을 계산하여, HIs와 LIs 그룹 간 비교 분석함.
l 언어 영역: HIs 그룹에서 쉬운 문제와 어려운 문제를 풀 때 공통으로 나타나는 전극 쌍의 비율이 LIs 그룹이 더 크게 나타남. 또한 문제 난이도가 어려워짐에 따라 LIs 그룹의 평균 coherence 값이 HIs 그룹의 평균 coherence 값보다 커졌 음.
언어 영역의 문제는 지문 내용의 이해가 중요하며, 기존의 지식을 다시 확인 하는 지식 처리 과정으로 인하여 이러한 결과가 나타난 것으로 보임.
l 공간 영역: HIs 그룹에서 쉬운 문제와 어려운 문제를 풀 때 공통으로 나타나는 전극 쌍의 비율이 LIs 그룹이 더 적게 나타남. HIs 그룹의 유의미한 전극 쌍의 평균 coherence 값이 LIs 그룹의 값보다 큼.
공간 영역의 문제는 언어 영역의 문제에 비하여 보다 창의적이며, 여러 가지 경우의 수를 마음속으로 그림을 그려가며 풀어야하므로 HIs 그룹의 공통 전극 쌍의 비율이 낮은 것으로 보임.
그림 65. 두 그룹 간 coherence 비교 분석 결과
- 대학생 DB 분석 결과
① 동공크기 변화율 및 눈 깜빡임 횟수
l two-way ANOVA 분석: 2(group: HIs, LIs) × 2(part: Learning, Problem solving)
Pupil size variation (%) Eye-blink variation (per second) Learning Problem solving Learning Problem solving
HIs LIs HIs LIs HIs LIs HIs LIs
Lang
pre −5.65 −4.77 −1.25 −2.58 0.24 0.18 0.36 0.32
during −5.65 −4.30 −2.29 −3.41 0.06*** −0.05*** −0.10 −0.14
post −5.10 −2.76 0.01* −2.52* 0.30* 0.71* 0.80 0.67
Logic
pre −4.86 −8.36 3.70** −0.32** 0.18 0.27 0.48* 0.23*
during −0.79*** −4.72*** 3.67* −0.74* 0.19** 0.06** 0.12 0.03 post 2.56 −3.75 5.77*** 0.61*** 0.83* 0.55* 0.69 0.51
Spatial
pre −6.67 −6.82 −2.63* −5.18* 0.51* 0.09* 0.43* 0.25*
during −9.92* −12.09* −4.88 −5.92 0.27*** 0.13*** −0.15* −0.06*
post −6.65 −9.21 −5.68 −6.54 0.79 0.45 0.95* 0.72*
Music
pre −3.41 −5.78 −1.11** −4.64** 0.37 0.28 0.44 0.36
during −14.00** −17.76** −3.29* −6.87* -0.09 -0.11 -0.13 -0.07 post −20.77 −25.17 −4.91*** −10.08**
* 0.79 0.69 0.85 0.77
Natural
pre −3.35 −5.92 −2.85*** −7.66*** 0.52 0.17 0.35 0.29 during −9.24*** −13.00**
* −7.49*** −14.11**
* 0.03 0.01 -0.14 -0.10
post −16.04 −16.69 −6.00*** −12.25**
* 0.97 0.61 0.96* 0.61*
표20. 동공크기 변화율(%) 및 눈 깜빡임 변화율
* p < .05; ** p < .01; ***p<.001
그림 66. Internal sensor 비교 분석 결과
② 심박변이도 (HRV)
l Independent t-test를 수행한 결과, SDNN과 VLF 특징이 HIs 그룹과 LIs 그룹 사이에 통계적으로 유의미한 차이가 있음
l LIs 그룹의 SDNN 및 VLF가 HIs 그룹보다 낮음
l 일반적으로 감정이 부정적일 경우 또는 피로하거나 스트레스를 받을 경우에 정상상태보다 LF 값이 작다는 것이 여러 연구들에 의해 밝혀져 있음
l 따라서 LIs 그룹이 과제를 수행할 때 더 스트레스를 받거나, 부정적인 감정
l 따라서 LIs 그룹이 과제를 수행할 때 더 스트레스를 받거나, 부정적인 감정