가. 일상행위 시퀀스 및 행위패턴 추론 기술
수면 상황을 타겟으로 한 복합 데이터 기반의 행동/상황에 대한 특징을 추출하여 수면의 질에 영향을 미치는 행위 시퀀스를 도출하는 경험상황 모델 및 이를 적용한 테스트 인식기 구현, 인식기로부터 도출된 결과를 효과적으로 저장할 수 있는 시맨틱 네트워크 및 사용자 요청 질의 처리가 가능한 패턴 추출 연구
그림 88. 경험상황 모델링 개념도
Epworth Sleepiness Scale (ESS) [1]
Johns et al.
(1991)
8개 문항으로 구성된 수면에 대한 주관적인 자가 진단 설문 (0-24; 정상<0)
Insomnia Severity Index (ISS) [2]
Morin et al. (2011)
7개 문항으로 구성된 불면증 환자의 수면에 대한 인식
Pittsburgh Sleep Quality Index (PSQI) [3]
Dysfunctional Beliefs and Attitudes about Sleep Scale
Functional Outcomes of
Women’s Health Initiative Insomnia Rating Scale [7]
[1] Johns, M. W. (1991). A new method for measuring daytime sleepiness: the Epworth sleepiness scale. sleep, 14(6), 540-545.
[2] Morin, Charles M., et al. "The Insomnia Severity Index: psychometric indicators to detect insomnia cases and evaluate treatment response." Sleep 34.5 (2011): 601-608.
[3] Buysse, D. J., Reynolds III, C. F., Monk, T. H., Berman, S. R., & Kupfer, D. J. (1989).
The Pittsburgh Sleep Quality Index: a new instrument for psychiatric practice and research. Psychiatry research, 28(2), 193-213.
[4] Krupp, L. B., LaRocca, N. G., Muir-Nash, J., & Steinberg, A. D. (1989). The fatigue
severity scale: application to patients with multiple sclerosis and systemic lupus erythematosus. Archives of neurology, 46(10), 1121-1123.
[5] Morin. C. M., Stone, J. Trinkle, D., Mercer, J., & Remsberg, S. (1993). Dysfunctional beliefs and attitudes about sleep among older adults with and without insomnia complaints.
Psychology and Aging, 8(3), 463–467.
[6] Weaver, T. E., Laizner, A. M., Evans, L. K., Maislin, G., Chugh, D. K, Lyon, K., et al.
(1997). An instrument to measure functional status outcomes for disorders of excessive sleepiness. Sleep, 20(10), 835–843.
[7] Levine, D. W., Kripke, D. F., Kaplan, R. M., & Lewis, M. A. (2003). Reliability and validity of the women’s health initiative insomnia scale. Psychological Assessment, 15(2), 137–148.
[8] Benca R, Lichstein KL. Sleep disorders measures. In Rush AJ, First MB, Blacker D, eds.
Handbook of psychiatric measures. 2nd ed. Washington, DC: American Psychiatric Publishing; 2008:649-66.
Sathyanarayana et al. (2017) [2]
Levine et al.
Sathyanarayana et al. (2017) [2]
Daskalova et al. (2018) [3]
낮잠을 많이 잔다 하루 중 낮잠시간 Benca et al. (2004)
수면에 방해가 되는 음료와 카페인 함유 음료 및 알코올 Buysse et al. (1989)
약품을 습관적으로 섭취한다 섭취 빈도 및 섭취량 Johns et al. (1991)
[1] J. C. Ong, C. S. Ulmer, and R. Manber (2012). “Improving sleep with mindfulness and acceptance: A metacognitive model of insomnia,” Behav. Res. Ther., 50(11), pp. 651–
660.
[2] Sathyanarayana, J. Srivastava, and L. Fernandez-Luque, (2017). “The Science of Sweet Dreams: Predicting Sleep Efficiency from Wearable Device Data,” Computer (Long. Beach.
Calif). 50(3). 30–38.
[3] N. Daskalova, B. Lee, J. Huang, C. Ni, and J. Lundin, (2018) “Investigating the Effectiveness of Cohort-Based Sleep Recommendations,” 2(3).
[4] Ahn, D. H. (2013). 불면증: 원인과 진단. Hanyang Med Rev, 33, 203-209.
2) 경험 모델 기반 패턴추출 기술
가) 수면 특징 기반 데이터 클러스터링 기술
o 수면 특징 기반 사용자 클러스터링
데이터 셋으로 잘 구분되어 구성되어 있음을 확인
. 실제 수면시간 기준으로 2-1-0-4-3 순서로 잠을 많이 잠
. 수면효율성 기준으로는 0~4클러스터간의 큰 차이가 없으므로 깨어난 시간과 횟수의 차이는 무시
그림 90. 클러스터별 수면효율성 box-plot
그림 91. 클러스터별 수면 중 각성 횟수 box-plot
그림 92. 클러스터별 수면 중 각성 시간 box-plot
그림 93. 클러스터별 실제 수면시 간 box-plot
- (차년도 계획) 다양한 수면의 질 특징을 이용하고, k-means 클러스터링 뿐 아니라 다른 방법들을 추가 적용하고 비교하여 수면의 질을 더 잘 설명하는 클러스터링을 수행하고, 결과 프로파일링 시 전문가 지식 적용 확대
나) 사용자의 주간 활동(Day-time activity) 인식 기술
o 수면장애분류 및 정의에 따른 사용자의 주간 활동 이상 탐지 필요성
- 세계보건기구(World Health Organization, WHO) 국제질병분류(ICD-10-CM)의 수면장애분류, 미국정신의학회(American Psychiatric Association, APA)의 정신질환분류(DSM-5) 가운데 수면장애분류, 수면관련학회에서 제안한 국제수면장애분류(ICSD-2, 2005)가 가장 널리 사용됨
ICSD-2 (2005) [2]
1. Adjustment sleep disorder (acute insomnia) 2. Psychophysiological insomnia
3. Paradoxical insomnia 4. Idiopathic insomnia 5. Inadequate sleep hygiene 6. Behavioral insomnia of childhood 7. Insomnia due to drug or substance 8. Insomnia due to medical condition
9. Insomnia not due to a substance or known physiological condition, unspecified 10. Physiological (organic) insomnia, unspecified
ICD-10-CM (1994)
F51 Sleep disorders not due to a substance or known physiological condition F51.01 Primary insomnia
F51.02 Adjustment insomnia F51.03 Paradoxical insomnia F51.04 Psychophysiological insomnia
F51.05 Insomnia due to other mental disorder
F51.09 Other insomnia not due to a substance or known physiological condition G47 Organic sleep disorders
G47.0 Insomnia, unspecified
G47.01 Insomnia due to medical condition G47.09 Other insomnia
DSM-5 (2013) [1]
1. Insomnia disorder Specify if:
With non-sleep disorder mental comorbidity With other medical comorbidity
또한 분류체계간 차이를 나타냄 분해(Singular Value Decomposition), 비음수 행렬 인수분해(Non-negative Matrix Factorizaion) 등이 활용됨
- 참고문헌
[1] American Psychiatric Association. Diagnostic and Statistical Manual of Mental Disorders.
5th ed. Washington DC: American Psychiatric Publishing; 2013:361-422.
[2] NIH State of the Science Conference statement on Manifestations and Management of Chronic Insomnia in Adults statement. J Clin Sleep Med 2005;1:412-21.
[3] Thorpy MJ. Classification of sleep disorders. Neurotherapeutics 2012;9: 687-701.
o 2017년도 테스트베드 데이터를 이용한 파일럿 테스트
③ 생체신호로 인식한 감정 인식결과 레이블: 감정, 감정 강도
④ 주변 센서를 이용한 환경 인식 결과: 장소 레이블
- 주성분 개수 결정을 위해서 주성분 개수 증가에 따른 분산을 보여주는 Scree graph를 확인해본 결과 주성분 개수가 3개가 넘어가면서 분산의 감소폭이 크게 변화가 없음
. 통상적으로 주성분의 누적 중요도(cumulative proportion)이 70~90%
사이에서 선택하므로 7개 이상 선택해야 하지만, Scree graph에 의거 3개로 결정
- 주성분 분석 결과 생성된 특징 벡터 결과 분석 . 각 주성분 별로 0.3 이상의
① 특징 벡터 1: 사용자의 사회 생활과 관련한 특징 (상태, 대화상대,대화시간, 식사)
② 특징 벡터 2: 사용자의 움직임 또는 활동성 관련 특징(기본, 이동,
여가)
③ 특징 벡터 3: 사용자의 활동 시간영역(요일과 하루 중 시간) 동안 업무/수면 상태 관련 특징(요일, 시간대, 일, 수면 클러스터)
그림 94. 특징벡터별 특징들의 PCA coefficient 그래프
- 각 특징 벡터를 일상행위 시퀀스 도출에 활용하기 위해 수치형 데이터를 기존 레이블을 나타내는 범주형(categorical) 데이터로 코딩
. 예) PC1의 경우 상태, 대화상대, 대화방식 및 대화시간이 큰 영향을 미치는 특징이므로 PC1의 값을 각 레이블 값(숫자코딩 방식의 범주형변수)의 패턴으로 수정 ‘1-4-0-0’ (가족과 함께 – 대화상대 없음 – 대화방식 없음 - 대화시간)
다) 일상행위 시퀀스 도출 기술
o 사용자의 일상 활동과 수면의 질과의 연관성 분석
- 주간의 일상행위 시퀀스를 도출하기 전에 각 일상행위 특징 벡터들이 타겟이 되는 수면에 미치는 영향을 분석해서 설명력과 신뢰도를 확인
- 로지스틱 회귀분석, 구조방정식 등의 통계 분석을 활용 가능
o 시퀀스 분석(Sequence Analysis)를 통한 수면의 질을 결정하는 사용자 일상
활동 시퀀스 도출
. Optimal matching, 밀집된 데이터(dense data)에 적당한 SPaDE(Zaki. 2001), 흩어진 데이터(sparse data)에 적당한 PrefixSpan(Pei et al. 2001) 등 적용
72 {앉기at집},{joy},{neutral,혼자},{혼자},{혼자} 0.833333
… … …
표 28. 행위 시퀀스 결과 예시
. 추후 다항로지스틱 회귀분석을 시행하기 위해 SPaDE 분석 후 이를 해석하기 위한 Suffix Tree Clustering 적용 예정
나. 사용자 경험상황 시맨틱 네트워크 기반 패턴 분석 기술
시맨틱 네트워크 구조를 사용하면 고수준 행위 및 사용자 경험 상황 데이터를 저장하면서 필요한 복잡한 의미를 갖는 분류가 필요하거나 인과관계를 밝히는 추론 기술 적용이 가능함. 따라서 시맨틱 네트워크 구조를 바탕으로 사용자에게 친숙한 자연어 표현 기반 의미구조 및 사용자 질의 의도 파악 검색 방법을 적용하여 사용자 및 서비스에 필요한 생활 패턴 정보를 찾기 위한 기술을 연구함
그림 95. 사용자 경험상황 모델링을 위한 네트워크 구축
1) 경험 데이터 모델링을 위한 시맨틱스 저장 기술 연구
가) 고수준 데이터 간 시맨틱스 정의
- 저수준 데이터로부터 추론 가능한 4T 데이터 정의
- ConceptNet5, WordNet, Speech Act Theory, 5W1H 및 캐나다 통계청 GSS(General Social Survey on Time Use) 기반 시맨틱스 노드, 엣지 정의
나) 고수준 데이터 간 시맨틱스 저장 기술
- RDF (Resource Description Framework), OWL (Web Ontology Language) 시맨틱스 저장기술 관련연구 조사
- 웹에서 표현되는 자원의 정보관계를 표현하기 위한 RDF 규격을 활용하여 라이프로그를 위한 시맨틱스 저장 구조 설계
다) 고수준 데이터 간 시맨틱스 관리 기법 연구
- Graph database 기능을 활용한 network manager를 설계 - 그래프 구성 노드, 엣지의 속성을 자동으로 인덱싱 - 중복된 노드 제거를 통한 일관성 유지 기능 제공 - 라이프로깅을 위한 시맨틱스 커버리지 유용성 평가
그림 96. 사용자 경험상황 시맨틱 네트워크 구축을 위한 API 구조도
2) 경험상황 모델링을 위한 시맨틱 네트워크 구축 가) 시맨틱 네트워크 기반 노드, 엣지 구조 설계
- 사용자 라이프로깅을 위해 시간정보에 따라 구분 가능한 객체를 형성할 수 있는 네트워크 구조 설계
그림 97. 시계열 모델링 그래프 데이터베이스 구조
- 반복적으로 기억되는 정보에 집중하기 위핸 네트워크 weight 학습 구조 설계
나) 시맨틱 네트워크기반 노드, 엣지 시각화 기술
- 제안하는 시맨틱 네트워크의 구조적 특징 파악 및 표현 단위 설정
- 사용자 경험상황 시맨틱 네트워크 시각화 구현을 위한 시맨틱 네트워크 구성 모듈 설계
- 시각화 라이브러리 비교 및 분석을 통한 적용 - Javascript web 기반 시맨틱 네트워크 시각화 GUI
다) 시맨틱 네트워크기반 연관검색 알고리즘
- 사람의 기억구조를 모방하기 위해 Depth-limited breadth first search를 적용한 연관검색 알고리즘 구현 및 적용
- 시맨틱 네트워크의 의미 관계를 활용한 네트워크 검색경로에 따른 검색 정확도 평가
3) 경험상황 네트워크 기반 사용자 경험 패턴 추출 기법 연구
가) 구조화된 사용자 경험으로부터 패턴 추출 연구
- 서로 다른 판정 주기를 갖는 이산적인 라이프로그를 사용하는 패턴추출의 어려운 점 파악
- 국외 논문 조사를 통한 사용자 수면, 식사, 활동관련 9 가지 생활 패턴 분류 - 국외 논문 조사를 통한 수면, 식사, 활동관련 사용자 정보 리포팅 리스트 정리
나) 사용자 경험상황 패턴 추출 알고리즘 구현 연구
- 라이프로그에서 발생하는 사용자의 규칙적인 행동을 파악하기 위한 Apriori 알고리즘 기반 서브그래프 추출
- 동시적, 병렬적 사건의 모델링이 가능한 Petri-net을 이용한 시맨틱 네트워크로 구축된 사용자 상태진단
- 모듈형 Petri-net 설계를 이용하여 9가지 수면, 식사, 활동 패턴을 리포팅할 수 있는 시스템 구현
다) 패턴분석을 통한 상호작용 디스크립션 기법 연구
- 사용자 생활 패턴 진단 과정에 영향을 미친 요인들을 분석하기 위해 연관검색을 바탕으로 서브 그래프를 추출
- 사용자 경험상황을 리포팅 하기 위한 규칙기반 정보와 연관검색 정보를 바탕으로 리포팅 결과 생성
- 사용자 경험상황 패턴분석을 위한 상호작용 디스크립션 의 유용성 평가