※ 이 논문은 2014년 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF-2014S1A5A2A03066219).
†교신저자：현주석 (중앙대학교 사회과학대학 심리학과, 인지 및 지각 전공) E-mail：[email protected]
TEL：02-820-5128 FAX：02-816-5124
무선재추출법에 기초한 사건관련전위 자료분석에 대한 탐색적 고찰
An Exploratory Observation of Analyzing Event-Related Potential Data on the Basis of Random-Resampling Method
현주석*†
Joo-Seok Hyun*†
*중앙대학교 심리학과
*Department of Psychology, Chung-Ang University
Abstract
In hypothesis testing, the interpretation of a statistic obtained from the data analysis relies on a probabilistic distribution of the statistic constructed according to several statistical theories. For instance, the statistical significance of a mean difference between experimental conditions is determined according to a probabilistic distribution of the mean differences (e.g., Student's t) constructed under several theoretical assumptions for population characteristics.
The present study explored the logic and advantages of random-resampling approach for analyzing event-related potentials (ERPs) where a hypothesis is tested according to the distribution of empirical statistics that is constructed based on randomly resampled dataset of real measures rather than a theoretical distribution of the statistics. To motivate ERP researchers' understanding of the random-resampling approach, the present study further introduced a specific example of data analyses where a random-permutation procedure was applied according to the random- resampling principle, as well as discussing several cautions ahead of its practical application to ERP data analyses.
Key words: Hypothesis Testing, Random Resampling, Empirical Statistics, ERP Data Analyses
요 약
가설검증 과정에서 자료 분석 결과 산출된 통계치에 대한 해석은 몇 가지 통계학적 이론을 토대로 분석 결과 산출된 관련 통계치의 이론적 확률 분포에 의해 좌우된다 . 예를 들어 실험 조건 간 측정치의 평균 차이에 대한 통계적 유의미성 은 대개 전집 특성에 대한 몇 가지 이론적 가정에 기초해 구성된 해당 평균 차이값의 확률 분포(예: Student's t)에 기초해 결정된다. 본 연구는 이러한 이론적 통계치의 분포가 아닌 실측정 자료의 무선 재구성을 통해 얻어진 경험적 통계치의 분포에 기초해 가설 검증을 시도하는 무선재추출법의 기본 논리와 장점을 살펴보고 사건관련전위 분석 상황 에서의 응용 가능성을 모색하였다. 더 나아가 무선 추출 원리에 기초한 무선치환법이 적용된 구체적 사례를 소개하고 ERP 자료 분석에 있어서 경험적 통계 분석 적용에 앞서 유의할 점을 살펴봄으로써 뇌파 연구자들의 무선재추출법에 대한 정확한 이해를 도모하였다.
주제어
:
가설 검증,
무선재추출,
경험적 통계치, ERP
자료 분석https://doi.org/10.14695/KJSOS.2017.20.2.149
1. 서론
인간 의식에 대한 기존의 연구들은 인간의 내적 심 리에 대한 직접 관찰 보다는 사고 과정의 산물로 표 출되는 행동을 통한 간접 관찰에 중점을 두었다 . 이 는 환경적 자극에 대한 인간의 내적 사고 과정은 육 안으로 관찰할 수 없으므로 그 처리 결과에 해당되는 관찰 가능한 행동만이 경험적 증거의 대상이 될 수 있다는 심리학 연구 분야의 고전적 제약의 흔적에 기 인한다(Baum, 2005; Skinner, 1953). 그러나 정신 현 상이 대뇌 활동(brain activity)의 산물임을 부정하기 어려운 현대 심리학 연구에서는 대뇌 활동에 대한 직 접 관찰을 통해 이런 제약을 해소하려는 시도가 꾸준 히 발견된다. 그 중에는 변화하는 내적 심리상태를 두피에 분포하는 전위 측정을 통해 추정하는 EEG (electroencephalogram) 측정법이 있다.
대개 4ms 이내의 시간 간격을 두고(e.g., 250Hz) 관 찰 측정치를 제공할 수 있는 EEG 측정법은 우수한 시간적 해상력을 대표적인 장점으로 내세운다 . EEG 측정치의 시간적 해상력 장점을 극대화한 관찰 방법 으로는 특정 사건의 발생 시점을 기준으로 두피 전위 (scalp potential)의 연속적 변화를 관찰하는 사건관련 전위(event-related potentials, 이하 ERP) 측정법이 있 다(Coles, 1989; Donchin, 1981). 파형(waveform)의 형 태로 최종 가시화되는 ERP 자료는 단일 시행에서 실 험적 처치가 가해진 특정 사건의 발생 혹은 자극의 출현이 촉발시킨 연속적인 EEG 변화들을 동일 유형 의 시행들에 걸쳐 총평균(grand average)함으로써 산 출된다(Kim et al., 2016). 실험의 개별 처치 조건에서 산출된 파형은 처치가 초래한 특정 사건에 의해 촉발 된 대뇌 활동의 변화를 반영할 가능성이 있으며 따라 서 처치 조건 간 파형 차이는 실험적 처치의 영향력 유무를 가늠하는데 매우 중요하다 . 특히 이러한 파형 간 차이는 ERP 와 동시에 측정된 행동적 관찰 측정치 (behavioral measures) 와 이러한 심리적 행동의 근원 이 되는 대뇌 활동 사이에 상관적 관찰 (correlational observation)을 가능케 한다는 점에서 오랜 시간 동안 그 유용성을 인정받아왔다(Donchin, 1981; Picton, 1980; Woodman, 2010).
기존 대다수 ERP 연구에서는 연구 가설을 검증하
기 위한 실험적 처치의 영향력을 서로 다른 실험 조 건 간에 걸쳐 상호 비교하기 위해 고전적인 통계 이 론에 기초한 전통적 추론 통계 방식의 가설 검증을 사용해왔다(Luck, 2005a, 6장 참고). 이러한 전통적 추론 통계는 무엇보다도 실측정치 즉 ERP 표본에서 산출되는 통계치를 토대로 한 차이 검증을 위해 전집 과 표집 분포에 대한 분명한 이론적 가정을 요구한다 는 제약이 있으며 그럼에도 불구하고 대다수 ERP 연 구에서 수집되는 EEG 자료는 그 자료 특성상 이러한 전통적 추론 통계에서 요구되는 가정을 완벽히 충족 시키기에는 무리가 있는 것이 사실이다(Blair &
Karniski, 1993; Di Nocera & Ferlazzo, 2000). 본 연구 는 이미 해외에서 새로운 ERP 자료 분석 방식으로 관심의 대상이 되고 있는 무선재추출법의 논리와 구 체적 사례를 살펴봄으로서 전통적 추론 통계에 기반 을 둔 기존의 ERP 자료 분석의 제한점을 지적하고 이에 대한 보완책으로서 경험적 통계에 기초한 ERP 분석 방법을 국내 연구자들에게 소개하는데 목적을 두었다 .
2. 본론
2.1.
고전적ERP
파형 분석 연구의 문제점ERP 파형 산출을 위한 EEG 측정법에서는 비침습
적(non-invasive) 관찰에 대한 대가로 지불하게 되는
무시 못 할 수준의 잡음(noise)이 문제가 된다 . 이런
변산성의 일부는 두피에 밀착된 전극과 대뇌 사이에
존재하는 생물학적 구조물(예: 두개골, 두피, 머리카
락)과 전극 주변에서 흔히 발생하는 뇌활동과 무관한
생체 신호들(예: EOG, EMG, EKG/ECG, skin potentials
및 head/body movement)에 의해 초래되는 것으로 추
정된다. 또한 이와 같은 잡음이 효과적으로 통제되더
라도 피질의 겹침 구조(folding pattern)와 같은 통제
불가능한 개인차(Luck, 2005a) 혹은 실험 자극이나
처치와는 무관한 뇌 피질 세포의 반응에 의한 EEG의
변화가 가능하므로 이 또한 EEG 신호의 잡음을 증가
시키는 원인이 된다. 궁극적으로 이런 잡음들은 ERP
측정치의 신호대잡음 비율(signal-to-noise) 및 처치
효과의 상대적 영향력을 감소시켜 ERP 자료 분석시 검증력을 저하시킨다 (Kappenman & Luck, 2010; Luck, 2005a; 현주석, 2008).
ERP 자료의 변산성은 먼저 다수의 반복 관찰을 통 해 얻어진 여러 EEG 신호를 평균하는 방식을 통해 일부 상쇄가 가능한 것으로 가정된다(Luck, 2005a, 4 장). 예를 들어 발현정도가 비교적 분명한 P3 성분의 경우 안정적인 파형의 확보를 위해, 시행 유형 당
30-60회, 발현정도가 상대적으로 덜 분명한 N2 성분
의 경우 150-200회 그리고 P1 성분과 같이 발현 정도 가 매우 미세한 경우 400-800회 가량이 요구된다 (Luck, 2005b). 다만 실험 설계가 복잡하고 처치 수준 이 다양한 최근의 ERP 연구들에서는 무차별적 반복 측정이 대개 실험자가 투자하는 시간과 노력 및 실험 참가자의 피로도 증가로 이어지므로 안정적인 수준 의 파형 자료 취득이 어려운 경우 많다. 더구나 반복 측정으로 얻어지는 자료의 증가가 검증력 증가와 반 드시 정비례하지 않음을 고려할 때 (Kappenman &
Luck, 2010; Luck, 2005a, 2005b) 시행 횟수 증가를 통한 다량의 EEG 자료 확보가 ERP 자료에 내재하는 변산성 문제에 대한 근본적인 해결책이 될 수는 없다 .
앞서 생물학적 구조물 및 일부 개인차로 인한 잡음 에 대한 해결책으로는 반복 측정된 EEG 신호들 중 오염이 의심되는 EEG 신호들에 대한 선별적 제거와 교정(artifact rejection or correction)이 고려되는데 정 확한 이론적 근거와 모형이 전제되지 않는 이상 이러 한 제거와 교정 또한 타당성을 인정받기 어렵다 (Luck, 2005a). 예를 들어 오염이 의심되는 시행에 대 한 제거는 종종 특정 처치 조건 내의 다수 시행들에 대한 선별적인 누락을 초래해 실험 결과의 곡해로 이 어질 수 있으며, 이론적 근거가 불충분하거나 연구자 의 정확한 이해 없이 시도된 자료 교정 역시 동일한 문 제를 초래할 가능성이 있다 (Gratton, Coles, & Donchin, 1983; Luck, 2005a, 5장).
선별적 자료 누락이나 잘못된 교정뿐만 아니라 특 히 중요한 문제로 대두되는 것은 많은 ERP 연구들이 자료 분석 과정에서 전통적 추론 통계에서 요구되는 전집에 대한 등분산성(homogeneity of variance) 및 전집 정상분포 (normally-distributed population) 가정 등(Hays, 1994)을 ERP 자료 분석에 그대로 적용하는
경우가 많다는 점이다(Picton et al., 2000). 그 결과로 주요 처치 조건 간 차이에 대한 통계적 유의미성이 확보되거나 혹은 반대로 확보에 실패할 경우, 연구자 는 그 결과가 이러한 통계적 가정의 위배에서 비롯된 것인지 아니면 타당한 가설 검증의 결과인지 정확히 판단하기가 매우 어려워진다. 이런 모호성은 ERP 자 료의 태생적 한계인 낮은 신호대잡음 비율뿐만 아니 라 추론통계에서 요구되는 이론적 가정에 대한 위배 가능성을 더함으로써 연구자 스스로 자료 분석 결과 에 대한 신뢰성을 보장하기 어려운 상황을 초래한다 (Di Nocera & Ferlazzo, 2000). 특히 많은 ERP 연구 들에서 발견되는 전통적 추론 통계의 이론적 가정들 을 충족시키기 어려운 EEG 자료 수집 환경 및 근거 가 불분명한 수리적 모형들에 기초한 사후 자료 교정 의 관행 등을 고려할 때 이러한 문제점은 더욱 심각 해진다(Luck, 2005a; Picton et al., 2000).
2.2.
경험적ERP
파형 분석의 통계적 논리고전적인 ERP 실험의 가설 검증 절차는 대개 다음 고 같다. 먼저 계측된 파형 자료의 특정 시간 구획 (time-window)을 정하고 그 구획 내의 연속적인 전위 변화 측정치를 다수 참가자들 간에 걸쳐 평균해 평균 전위(mean amplitude) 및 평균잠재기(mean latency)와 같은 집중경향치를 산출한다. 다음으로 이집중경향치 를 바탕으로 추론 통계(inferential statistics) 논리에 기초한 차이 검증 과정이 뒤따른다. 여기에는 이러한 집중경향치들 간의 차이에 대한 통계적 유의미성 (statistical significance) 여부가 과정이 가설 검증의 핵심이 된다(Cox, 2006).
이러한 통계적 유의미성 판별의 핵심 가정은 무엇
보다도 표본은 전집(population)의 특성을 반드시 반
영하며 표집 (sampling) 을 무한히 반복할 경우 표집
분포의 평균이 전집 분포의 평균에 근접 (approximate)
한다는 점이다 . 그러나 ERP 연구에서 당면하는 실제
자료 수집 과정은 사실상 이러한 가정을 충족시키지
못하는 경우가 대부분이다. 예를 들어 실측 대상인
표집의 개수가 표집 분포(sampling distribution)를 논
하기에는 충분치 못하거나 혹은 개별 처치 조건을 구
성하는 사례수가 피치 못하게 서로 다른 경우(uneven
Fig. 1. An illustration of the random-permutation logic for an empirical pairwise t-test under the random-resampling principle. The original dataset are N times randomly permuted between the two conditions as if each permuted dataset were an independent experiment (top panel). A probabilistic t-distribution is further obtained from the N number of individual t-tests for the permuted dataset. Note that the permutation or swap between the conditions is justified under the assumption that the null hypothesis is true (H0: μ1 = μ2) for population data. The significance of the t-test for the original dataset is determined according to the t_critical value given from the area size occupying top 5% (p = .05) of the probabilistic t-distribution in case of a test.
sample cases)등이 대표적이다. 이러한 제약이 존재할 경우에는 모수적 검증을 포기하고 그에 대한 대안으 로 비모수적 검증(non-parametric test) 등이 시도되기 도 하나, 그에 대한 대가로 검증 결과에 대한 해석에 있어서 연구자 파악하기 어려운 제약이 수반될 가능 성이 증가하는 문제점이 있다(Anderson, 1961).
반면 전통적 추론 통계가 아닌 경험적 통계에 근거 한 자료 분석은 전통적인 통계 방식의 일종인 비모수 적 검증의 제약을 수용하기 보다는 실측정된 자료로 부터 표집 분포를 직접 추정하고 이 추정 분포를 토 대로 표본에서 산출된 처치 조건 간 집중경향치들의 차이값에 대한 유의도 수준을 설정해 가설 검증을 수 행할 수 있다고 가정한다(Greenland, 1990). 이처럼 실측정된 표본으로부터 표집의 분포가 직접 추정된 다는 경험적인(empirical) 특성이 있으므로 전통적 추 론 통계에서 요구되는 전집분포에 대한 이론적인 가
정으로부터 상대적으로 자유로운 상태에서 표집 측 정치에 대한 통계적 유의미성이 판별된다. 예를 들어 특정 실험의 두 처치 조건 간 평균 차이에 대한 유의 미성 검증이 시도된다고 가정하자. 이 경우 전통적인 추론 통계에 기초한 가설 검증에서는 두 처치 조건의 평균값 차이에 대한 t-검증이 흔히 시도된다. 이러한 t-검증은 전집에 대해 두 처치 조건 간 변량의 동질성 및 전집 정상분포 등을 가정하므로 표본 내 개별 사 례 중 예외적 극단치(outlier)의 빈번한 발생에 의해 이러한 전제 조건들이 충족되지 못할 경우 검증력의 감소와 함께 1종 오류의 가능성 또한 증가한다 (Simon, 1997; Greenland, 1990).
반면 Fig. 1에서 도해된 바와 같이 무선재추출법
중 흔히 사용되는 무선치환법(random permutation)의
논리를 예로 들어보자. 무선치환법에서는 두 처치 조
건 간 차이가 없다는 영가설(null hypothesis)을 토대
로 개별 처치 조건 간 개별 측정 사례들을 비복원 추 출(without-replacement)에 근거해 두 처치 조건에 다 시 무선 배치함으로써 대리자료 세트 (surrogate dataset) 로 구성된 가상의 표집 분포를 구성할 수 있다고 가정 한다. 이러한 표집 분포는 결과적으로 두 처치 조건에 서 표본의 특성을 반영해 재구성된 다량의 표집 t-검증 통계치의 분포 ( t-distribution_resampled in Fig. 1)를 제 공하는데 이러한 대량 통계치의 분포는 영가설이 참 일 때 예상되는 전집 통계치의 확률 분포에 근접하는 것으로 가정할 수 있다 (Agam et al., 2009; Blair &
Karniski, 1993; Sawaki, Geng, & Luck, 2012).
무엇보다도 무선재추출 절차에 의해 재구성된 대 량의 자료에 대한 반복적인 차이 검증 결과로 얻어진 통계치 분포는 직접적인 관찰의 대상이 된 표본 자료 로부터 역으로 재구성되었으므로 표본의 특이 사항 (예: 개인 및 집단별 극단치 분포)를 반영하게 된다는 경험적인 특성이 있다 (Ernst, 2004). 특히 재구성된 통계치의 가상 전집 분포는 관찰된 표본의 통계치
( t_sample)가 관찰될 확률을 추정하는 근거를 제공함
으로서 표본에서 산출된 집중경향치의 차이값에 대 한 통계적 유의미성을 판단하는 근거가 될 수 있다 (Agam et al., 2009; Blair & Karniski, 1993; Simon, 1997).
2.3.
경험적 통계에 기초한ERP
분석의 장점ERP 결과 분석에 있어서 경험적 통계 분석 방식이 가지는 분명한 장점은 전통적 추론 통계를 사용한 가 설 검증 시 요구되는 이론적 가정으로부터 상대적으 로 자유로울 수 있다는 점이다. 구체적으로 ERP 자 료의 분석 과정에서는 신호대잡음 향상을 위한 선별 적 자료 제거 등으로 인해 실험 처치 조건 간 ERP 자료의 등분산성을 가정하기 어려운 경우가 흔히 발 생한다 . 더 나아가 이에 대한 고육지책으로 다양한 이론적 가정에 기초해 참가자 및 전극을 넘나드는 자 료 교정을 시도할 경우 그 절차를 이해하기 어려운 복잡한 수리적 가정들을 요구함으로 인해 궁극적으로 는 전통적 추론 통계에서 요구하는 이론적 가정을 위 배하는 문제점을 야기할 수 있다 (Luck, 2005a; Picton et al., 2000).
이런 문제점들은 추론 통계 분석에 요구되는 획일 화된 통계적 가정에 의해 표본의 경험적 특성들이 가 설 검증 과정에서 고려되지 못할 때 더욱 심각해진다 (Sawaki et al., 2012). 이론적으로는, 표본을 통한 전 집 분포에 대한 추정은 전집으로부터 완전한 무선 표 집 등에 대한 전제가 충족될 때 가능한 것으로 알려 져 있다(Greenland, 1990). 그러나 대개의 행동 과학 연구에서는 표본 내의 관찰 대상의 개체 차이를 상쇄 시킬 완벽한 무선 표집은 사실상 불가능하며 대개 연 구 진행상의 여러 제약을 감안한 제한적인 무선 표집 이 시도되는 경우가 대부분이다. 신호대잡음 비율이 저조한 뇌파 연구의 경우는 이러한 제약의 상대적인 영향력 즉 측정 오차의 영향력이 더욱 클 수밖에 없 다(Luck, 2005a). 따라서 ERP 자료 분석에 고전적 추 론 통계에서 요구되는 획일적인 가정들을 무차별 적 용할 경우 가설 검증 결과에 대한 신뢰도 저하는 불 가피할 것이 예상된다 .
반면 경험적 통계 분석에 기초한 가설 검증은 고전 적 추론 통계 과정에서 요구되는 전집 분포에 대한 획일화된 이론적 가정들의 적용을 지양하고 관찰된 표본에 내재하는 경험적 특성들을 그대로 반영해 재 구성한 표집 분포를 토대로 실험적 처치의 영향력이 가늠될 수 있다고 분명히 가정한다(Sawaki et al.,
2012). 이것이 가능한 이유는 여러 제약 아래 실측정
된 ERP 표본과는 무관할 수 있는 이론적 통계치의 확률 분포가 아닌 표본에 기초해 재구성한 경험적 통 계치의 확률 분포를 사용하기 때문이다. 바꿔 말하면 경험적 통계 분석 절차의 경우 전통적 추론 통계 분 석 절차에 비해 표본 내의 관찰 대상들의 특성(예: 개 인차)이나 피치 못할 표집 절차 과정(예: 제한적 표 집)에 수반되는 예외적인 표본 특성들이 표집 측정치 를 토대로 구성된 통계치의 확률 분포에 반영될 가능 성이 상대적으로 높다(Groppe, Urbach, & Kutas, 2011; Maris, 2012; Maris & Oostenveld, 2007).
이는 특히 앞서 소개된 ERP 자료가 가지는 여러
제약을 극복하는데 큰 도움이 된다. 예를 들어 전통
적 추론 통계 분석 방식을 사용할 경우 표본 자료에
해당하는 실측정 EEG 신호에 대한 교정 혹은 보정
과정은 경우에 따라서는 표본의 실제 특성을 필요 이
상 왜곡해 전집 정상분포나 변량의 동질성 가정을 위
배하는 결과를 초래할 가능성이 크다. 반면 경험적 통계 분석의 경우, 표본 자료를 토대로 재구성된 전 집에 근사하는 표집 분포가 표본 자료에 가해진 수정 이나 보정을 있는 그대로 반영하게 되므로 고전적 통 계 분석보다 가설 검증 결과에 대한 해석이 상대적으 로 자유롭다
1). 이러한 장점 때문에 자료 왜곡의 가능 성이 큰 ERP 자료 분석에 경험적 통계 분석 방식을 적용하는 것에 대해 상대적으로 높은 신뢰성이 부여 되기도 하며 실제로 모수적 검증법이 여의치 않을 경 우의 대안책으로 ERP 연구자들에게 권장되기도 한 다(Picton et al., 2000).
이처럼 경험적 통계 분석 방식은 적어도 이론적으 로는 통계학의 여러 이론적 가정들로부터 ERP 자료 분석을 상대적으로 자유롭게 함으로써 자료 분석 결 과 얻어진 통계적 유의미성 확보나 실패가 이러한 통 계학적 가정에 대한 위배로부터 비롯된 것이 아님을 일부 신뢰할 수 있는 근거를 제공한다 . 특히 앞서 소 개한 바와 같이 ERP 실험이 자료 왜곡으로 인한 통 계학적 가정의 위배에 취약함을 고려할 때 , 연구자들 은 경험적 통계에 근거한 가설 검증에 상대적으로 주 목할 수밖에 없다. 다음 단락에서는 무선재추출법 중 하나인 무선치환법을 적용해 ERP 자료를 분석한 구 체적 연구 사례를 소개해 그 용례를 살펴본다.
2.4.
무선치환법을 사용한ERP
분석 사례본 단락에서는 ERP 자료 분석에 있어서 경험적 통 계 분석의 적용 방법에 대한 구체적 이해를 위해 무 선재추출법에 기초한 자료 분석이 시도된 대표적 ERP 연구 사례를 소개한다. Agam et al.(2009)은 기 억항목들 중 하나를 재인하는 단기기억 검사과제에 서 재인검사자극 (recognition probe)이 촉발시킨 ERP
1) 해석의 자유로움이 제약(limitation)의 부재와 동일한 것은 아니다. 예를 들어 무선 치환법에서는 실험적 처치의 완전 무선 할당이 전제된 경우 교환가능성(exchangeability)을 확 보한 것으로 가정하지만 이것이 변량의 동질성 가정을 충족 시킨 것으로 인정되지는 않는다(Boik, 1987; Hayes, 1996).
이는 무선치환법 또한 전통적 추론통계 방식인 Student’s
t-test 등의 제약을 그대로 가지고 있음을 의미하며, 무선치
환법이 전통적 추론 통계의 한계를 극복하는 만능 분석법이 아님을 시사하는 중요한 근거에 해당된다.
를 측정하였으며, 이를 토대로 기억이 요구된 개별 기억항목과 재인검사자극 간 시각적 유사성의 정도 가 재인의사결정(recognition-decision making)에 미치 는 영향을 조사하였다. 기억 모형에 대한 비교적 상 세한 소개 차원을 제외하고도 이들의 연구에는 무선 추출법의 일종인 무선치환법을 적용한 매우 흥미롭 고도 중요한 자료 분석 방법이 소개되었는데 구체적 으로 다음과 같다.
이들 연구의 관심사는 기억-검사 항목 간 유사성의 증감에 따라 재인의사결정이 대뇌의 활동 차원에서 얼마나 신속히 개시될 수 있는지를 판별하는데 있었 다. 판별의 대상이 된 ERP는 재인검사자극에 의해
촉발된 EEG를 평균해 산출되었으며 세 처치 조건 간
재인검사 자극은 물리적으로 동일했지만 기억이 요 구된 자극들과 재인검사자극 간 시각적 유사성은 각 실험 조건 사이에 단계적으로 차등을 두도록 처치되 었다 . 이러한 처치아래 Agam et al. 은 , 각 조건에 걸 쳐 물리적으로 동일한 재인검사자극에 의해 발현된 ERP 일지라도 각 조건에서의 기억자극과 검사자극 간 시각적 유사성 수준에 따라 재인의사결정이 개시 되는 시점이 적어도 뇌의 전기생리학적 변화 차원에 서는 서로 다를 수 있음을 예상하였다.
이러한 예측에 대한 검증을 위해 그들은 유사성 처 치를 서로 달리하는 세 조건에서 검사자극에 의해 산 출된 ERP 평균 파형들 간에 파형 차이가 분명하게 나타나기 시작하는 ms 단위의 시간 구획을 탐색하는 데에 초점이 맞추어졌다. 그러나 전통적인 파형 분석 연구에서 시도되는 수백 ms 단위의 EEG 변화를 평 균해 얻어진 평균 진폭이나 잠재기를 대상으로 한 ERP 성분 (component) 분석 방식은 수 ms 단위의 연 속적인 차이검증(consecutive difference tests)이 요구 되는 그들의 목적에 부합하지 않았다.
이러한 문제점에 대한 대안으로 Agam et al.은,
ERP를 촉발시킨 재인검사자극 출현 후 ms 단위로
측정된 연속적인 EEG 전위 값의 변화에 대해 처치 조건 간 일정 시간 동안 연속적으로 EEG 전위 차이 가 나타나는 시간 구획을 탐지해내는 방법을 선택했 다. 이를 위해 먼저 해당 연구에서 시도된 EEG 측정 의 최소 단위에 해당되는 4ms (i.e., 250 Hz sampling
rates)마다 관찰된 EEG 측정치를 대상으로 무선재추
Fig. 2 . An illustration of the random -perm utation procedure and data analyses in Agam et al. (2009)’s ERP study. (A) The top waveform is an imaginary example of EEG data of a participant across three different trial conditions. The three consecutive blocks in the middle illustrates the dataset of EEG segments separated by 4ms time point per each trial condition. The bottom blocks illustrates the perm utation outcom e potentially derived from the random repositioning of the EEG segm ents across the conditions. Note that the tem poral correlation of the segm ents was kept during the perm utation. (B) An illustration of the perm utation procedure for creating 1000 surrogate datasets. Each participant’s dataset was random ly shuffled across the conditions am ong random ly-chosen trials without replacem ent per each 4m s. The shuffled data were averaged for each participant after the permutation is complete. The surrogate dataset was treated as an independent experiment, and an F-test per each 4m s tim e point was applied. (C) An illustration of the procedure for determ ining a tim e window where the F-test at every 4m s was significant for N-consecutive tim es. The surrogate dataset provide results of 1000 F-tests at every 4m s, subsequently producing a probabilistic F-distribution at every 4ms. The significance level of each F-test for the original dataset at every 4m s is determ ined according to the tem porally corresponding F-distribution provided by the surrogate dataset. Note that the procedure above is an exam ple of the analyses for only a single electrode, and thus a considerable num ber of familywise errors (i.e., a series of Type-I errors) were expected when the entire set of recording electrode sites were considered in the study. The errors however were m inim ized by correcting a set of p-values used for determ ining the N-consecutive significant interval. For the detailed procedure of correcting the p-values, see the corresponding description in the m ethod section of Agam et al. (2009)’s study as well as their supplem entary m aterial linked on their online article
출법의 일종인 무선치환법을 적용했다. Fig. 1(A)에 구체적으로 예시된 바와 같이, 그들은 개별 4ms 측정 시점마다 각 처치 조건에서 측정된 EEG 전위를 조 건 간에 걸쳐 무선적으로 서로 뒤섞는 방식(random shuffling) 을 사용했다 . 이러한 무선 치환은 사실상 실 험적 처치 효과에 따라 체계적 변화가 예상되는 개별 처치 조건 간 ERP 의 패턴의 차이를 오히려 무마시키 는 인위적 자료 왜곡에 해당된다 .
중요한 것은, 이러한 인위적 왜곡이 실측정된 자료
에 토대를 두고 있으며 완전히 무선적이라는 측면에 무선치환법의 주목할 만한 장점이 숨어있다. 즉
Agam et al.이 시도한 EEG 실측정값에 대한 실험 조
건 간 무선 치환 배치는 영가설이 참임(true null hypothesis) 즉 , 실험적 처치의 영향력이 없음 ( H
0: μ
1= μ
2) 을 가정할 경우 예상되는 전집 EEG 로부터의 표
본 사례 하나를 무선재추출법 논리에 기초해 확률적
으로 재구성한 것에 해당된다 . 이론상으로 이러한 표
본 사례는 적어도 실험적 처치의 영향력이 없을 때
각 처치 조건에서 확률적으로 예상되는 EEG 표본 측 정치로 가정할 수 있다. 만약 Fig. 2(B)에 도해된 바 와 같이 4ms 마다 무선치환을 다수 반복해(예: 1000 번) 가상 표본의 EEG 대리자료 세트를 대량 확보할 수 있다면 이는 영가설이 참임을 전제할 때 개별 처 치 조건에서 4ms 단위로 관찰이 예상되는 EEG 전위 의 변화를 표본 자료로부터 전집 수준에서 재구성할 수 있음을 의미한다. 쉽게 말하면 이들이 사용한 무 선치환법은 각 처치 조건에서 영가설이 참임을 가정 할 때 확률적으로 예상되는 가상의 EEG 파형의 전집 분포를 표본 측정치에 기초해 추정한 것에 해당된다 .
Agam et al.은 이러한 무선치환법의 논리에 기초해 각 처치조건 간 EEG 자료에 대해 4ms 간격으로 1000회씩 무선치환을 시도했으며 이를 참가자 별로 재차 반복해 마치 영가설이 참임을 가정할 때 관찰이 가능할 것으로 예상되는 무수히 많은 다양한 변화 패 턴을 가진 가상의 EEG 전집 자료 분포를 구성했다 . 특히 Fig. 2(C) 에 도해된 바와 같이 , 이들은 전체 참 가자에 대해 시도된 1000 개의 무선치환 대리자료 세 트 중 개별 세트를 일종의 독립적인 가상 실험 (independent test)으로 가정하고 이 개별 자료 세트에 대해 4m 단위 마다 세 처치 조건을 대상으로 실측정 전위값에 대해 F 검증을 실시했다. 그 결과로 전체
1000개 대리자료 세트에 대해 이러한 F 검증을 4ms
단위로 반복해 종국에는 4ms 단위로 1000개의 F 검 증값 분포를 얻어냈다.
여기에서 중요한 것은 4 ms 간격 마다 구성되는
1,000개의 F 값의 확률 분포는 영가설이 참임을 가정
할 때 예상되는 1000개의 가상 실험의 결과를 토대 로 한 시뮬레이션 결과에 해당되며 통계적으로 볼 때 영가설이 참임을 가정할 때 전집에 대한 표집을 통해 얻을 수 있는 실험 결과에 근접하는 것으로 가정할 수 있다 . 만약 이처럼 영가설이 참임을 가정해 재구 성한 1000개 F 값의 확률 분포 상에서 그들이 실제 수행한 실험의 세 처치 조건을 대상으로 수행된 F 검 증의 결과값이 극단적 낮은 확률로 나타날 것이 분명 하다면 이는 무선치환법에 의해 전집의 확률 분포를 재구성할 때 가정된 영가설(i.e., 처치 효과 없음)을 부정할 수 있는 반증의 근거가 된다.
Agam et al.은 이러한 실측정치의 F 값 임계치를 확
보하기 위해 F 값의 확률 분포에서 우측 극단 5% (.05) 영역을 가르는 F 값을 임계치(critical value)로 설정하 고 그들 실험의 실측정 자료에 대한 F 검증 결과의 통 계적 유의미성을 판정하는 기준으로 삼았다. 이는 사실 상 F 값의 임계치가 통계학자들이 이론적으로 구성한 F 값의 확률 분포가 아닌 무선치환법에 의해 재구성된 경험적 F 값의 확률 분포에 의해 결정된다는 점을 제외 하고는 사실상 고전적 추론통계에 기초한 가설 검증 과정과 외형 및 논리가 동일하다. Agam et al.은 이러한 경험적 가설 검증 논리 토대로 세 처치 조건 간 자극 출현 이후 관찰된 EEG 파형 간에 걸쳐 적어도 일정 시간 동안 연속적 차이(consecutive difference)가 발견 되는 시간 구획을 탐색했다
2). 그 결과 검사자극 출현 후 적어도 154ms 시점부터 기억 정보들과 검사 자극 간의 시각적 유사성 수준 차이가 반영된 재인 과정이 시작되며 그에 따른 대뇌의 전기생리학적 활동에 분명 한 변화가 발생한다는 증거를 발견하였다 .
Agam et al. 의 연구 사례는 무엇보다도 그들 연구
에서 얻어진 결과가 적어도 고전적 추론 통계에서 사 용되는 이론적 통계치의 분포를 사용하기 위해 요구 되는 소수 가정의 위배에서 비롯되지 않았음을 시사 했다는 점에서 매우 중요하다. 특히 이론적 가정을 위배할 가능성이 상대적으로 높은 ERP 실험 자료에 대한 경험적 통계 분석 방식의 적용은 통계적 가정 위배로 인한 기존 ERP 연구 결과 해석의 제약을 일 부 극복했다는 점에서 기존의 전통적 추론통계 분석 방식에 비해 상대적으로 신뢰성이 높은 것으로 평가 될 수 있다.
2) 이러한 연속적인 구간의 탐색에는 4ms 단위의 반복적이고 순차적인 F 검증에 의해 예상되는 다수의 1종 오류(Type-I error) 즉 familywise error가 예상된다. 이러한 1종 오류는 여 러 전극을 대상으로 동시에 분석이 수행될 때 그 가능성이 기하급수적으로 증가한다. 따라서 Agam et al.(2009)의 연구 에서는 무선치환법의 적용뿐만 모든 전극 통틀어 공히 1%
의 오발견 비율(false discovery rate; Benjamini & Hochberg, 1995)을 가정해 4ms 마다 유의도 수준을 교정(p-value correction)하고 이에 기초해 모든 전극에 대해 시도된 F 검 증의 통계적 유의미성을 판정했다. 오발견 비율 추정에 기 초한 유의도 수준 교정에 대한 자세한 설명은 Agam et al.(2009)의 연구 논문 중 method section의 본문 설명과 online supplementary material의 관련 세부 설명을 참고하기 바란다.
3. 결론
지금까지 경험적 통계에 기초한 ERP 자료 분석의 배경 논리 및 장점 그리고 이러한 논리를 적용한 ERP 자료 분석의 구체적인 사례를 살펴보았다 . 이론 적으로 볼 때 경험적 통계 분석에 기초한 가설 검증 은 전통적인 추론 통계에 기초한 가설 검증에서 요구 되는 전집에 대한 이론적 가정의 충족이라는 제약으 로부터 상대적으로 자유롭다는 점에서 검증 결과에 대한 신뢰성이 높을 것으로 예상된다. 특히 이러한 이론적 가정에 위배되기 쉬운 ERP 자료에 대한 경험 적 통계 분석 방식의 적용은 지금까지 전통적 추론 통계 방식을 고집한 ERP 연구들에서 상이한 결과들 로 인해 서로 간극을 좁히지 못했던 다양한 ERP 연 구들 간의 상충을 해결하는데 기여 할 수 있을 것으 로 예상한다.
그럼에도 불구하고 무선재추출법을 적용한 ERP 자료 분석의 즉각적인 적용에 앞서 몇 가지 해결이 요구되는 문제점들이 남아있다. 그 중 하나로는 먼저 개별 연구의 특성 즉 실험 설계의 복잡성이나 관찰대 상인 변인에 대해 요구되는 처치 수준에 따라 정도를 달리하는 막대한 연산 부담(massive computational load)이다 . 예를 들어 앞서 Agam et al.(2009)의 연구 에서는 개별 참가자 당 4ms 단위로 무선치환을 통해 세 처치 조건의 전위값을 뒤섞은 1000개의 대리자료 세트를 재차 측정에 사용된 개별 전극별로 산출한다 . 이는 1000ms 단위의 ERP 측정 구간을 가정할 경우
250x1000 회의 무선치환에 참가자 인원수가 곱해져
수십 개에 이르는 측정 전극 중 하나 당 25만회 가량 의 무선치환을 참가자 인원의 수만큼 요구하는 무시 못 할 수준의 연산부담으로 이어진다.
현재 범용 컴퓨터의 연산 능력의 개선 속도가 점점 지연되고 있음을 고려할 때 (Waldrop, 2016) 이러한 연산부담은 무시할 수 없는 수준이며 특히 당장 자료 분석을 눈앞에 둔 ERP 연구자들 입장에서는 상대적 으로 연산 부담이 크지 않은 고전적 추론 통계 방식 이 더 매력적일 수 있다 . 더군다나 신경생리학적 측정 자료가 가진 자료의 복잡성과 방대함을 감안할 때 , 변 인의 처치 수준 증가 및 다요인 설계(multi-factorial design) 등으로 인해 실험 설계가 복잡해지고 다원
상호작용에 대한 관찰이 요구될 경우 그에 따른 연산 부담은 더욱 커질 수 있다(Winkler, Ridgway, Douaud, Nichols, & Smith, 2016). 특히 고전적 추론 통계에 비해 경험적 통계 분석 방식이 분명한 장점을 발휘한 다양한 연구 사례들에 대한 집중적 조명이 이루어지 지 않은 상태에서 이론적 타당성만을 근거로 경험적 통계 방식을 전적으로 수용한다는 것은 사실상 개별 연구자 입장에서는 매우 파격적인 결정이다.
둘째, Agam et al.의 연구와 같은 경험적 자료 분석 방식을 적용한 ERP 연구 사례는 최근 그 빈도가 증 가하고는 있으나 전통적 추론 통계 분석 방식에 기초 한 고전적 ERP 성분 분석 사례에 비해 상대적으로 드물다. 대개 ERP 연구 결과에 대한 신뢰도 평가에 있어서 무엇보다도 중요한 것은 기존 연구들이 축적 한 경험적 증거를 토대로 현재의 ERP 연구에서 관찰 된 결과의 일관성을 평가하는 것이다(Luck, 2005a, 2005b). 이를 위해서는 ERP 연구 간에 사용된 실험 자극과 절차 및 자료 분석 방식의 일관성과 유사성이 매우 중요한데 , 적어도 자료 분석 방식의 차원에서는 경험적 통계 분석 방식은 이러한 맥락에서 다소 벗어 나 있다. 물론 피험 동물의 개체수가 제한된 신경생 리학 연구들이나 소수의 인간 참가자를 대상으로 한 연구에서 경험적 통계 분석 방식이 시도되곤 하지만 (Rousselet, Thorpe, & Fabre-Thorpe, 2007; Thorpe, Fize, & Marlot, 1996; Todman & Dugard, 2001) ERP 자료에 전통적 추론 통계가 아닌 경험적 통계 분석 방식을 적용하는 것은 적어도 현재까지는 권장 수준 에 머물고 있는 것으로 판단된다(Picton et al., 2000).
셋째, 본 연구가 소개한 경험적 통계에 기초한 가설 검증은 앞서 서두에서 소개한 바와 같이 모수적 가정 에 대한 충족이 불확실할 경우 고려될 수 있는 방법이 지만, 이러한 제약 아래 시도할 수 있는 통계적 검증이 반드시 무선재추출법과 같은 경험적 통계 분석 방식만 있는 것은 아니다. 예를 들어 전집에 대한 모수적 가정 이 불가능할 경우 다양한 비모수적 검증 방식이 사용 될 수 있으며(예: Kolmogorov-Smirnov, Kruskal-Willis, Wicoxon signed-rank, Mann-Whitney, Sign test 등;
Hayes, 1994), 아직까지 ERP 연구 방법론 분야에서 이
러한 비모수적 검증 방식들과 비교해 무선재추출법 방
식이 가지는 상대적인 검증력의 우위나 신뢰도를 평가
하는 연구는 흔히 발견되지 않는다 . 더군다나 무선재추 출 방식에는 본 연구에서 중점적으로 소개한 무선치환 법 이외에 , 사용 목적에 따라 다양한 종류가 있으며(예:
Monte Carlo simulation, bootstrapping, subsampling, cross-validation 등; Efron & Gong, 1983) 상대적으로 연산 부담이 적은 계산 방식을 사용해 ERP 자료에 내 재하는 변산성의 영향력을 최소화시키는 있는 자료 분석 방식 또한 이미 개발되어 사용되고 있다(예:
jackknifing; Miller, Patterson, & Ulrich, 1998; Miller, Ulrich, & Schwartz, 2009; Shin, 2012). 따라서 현 시점 에서 ERP 연구자들에게 무선재추출법과 같은 경험적 통계 분석 방식 사용을 호소하는 것은 현실적 측면에 서 그 타당성이 크지 않을 수 있다.
넷째 , 혹자는 무선재추출법을 사용한 ERP 자료 분 석이 ERP 신호의 고질적인 문제점인 저조한 신호대 잡음 비율 및 그로 인한 검증력의 부재를 보완하는 매우 혁신적인 통계 분석 방식인 것으로 오인할 수 있다 . 그러나 이러한 저조한 신호대잡음 비율은 어떠 한 사후 수리적 교정이나 보정 및 새로운 통계적 분 석 방식을 사용하더라도 근본적으로는 극복하기 어 려운 ERP 자료에 내재하는 근본적 한계이다. 이러한 한계는 EEG 측정이 진행될 당시 사용되는 자극과 측 정 절차에 대한 정교한 통제 및 자료 변산성의 근원 이 되는 가외 변인의 혼입을 미연에 방지함으로써 일 부 개선이 가능할 뿐이다(Luck, 2005a, 2005b; Picton et al., 2000). 특히 무선재추출법과 같은 경험적 통계 분석 방식의 신뢰성에 대한 과신은 근본적으로는 그 배경 논리에 대한 정확한 이해가 수반되지 않을 경우 ERP 자료들에 대한 경험적 통계 분석 방식의 무차별 적용으로 이어져 궁극적으로는 연구 결과에 대한 왜 곡된 해석을 초래할 가능성이 다분하다(Ludbrook &
Dudley, 1998; Peterson, July 27, 1991; Rodgers, 1999).
이와 같은 여러 문제점의 해결에는 무엇보다도 무 선재추출법과 같은 경험적 통계 분석의 적용 논리에 대한 연구자들의 정확한 이해에 바탕을 둔 다양한 ERP 방법론 연구 시도가 필요하다. 특히 그 시도 과 정에는 고전적 추론통계 방식에 기초한 검증 결과와 의 상호 비교를 통해 경험적 통계 분석의 상대적 신 뢰성을 평가하려는 시도가 병행될 필요가 있다 . 본 연구에서 소개된 무선재추출법의 논리를 활용한 ERP
자료 분석 사례들이 최근 드물게 발견되기는 하나 적 어도 ERP 자료를 대상으로 고전적 추론 통계와 경험 적 통계 분석 방식 양 자의 우위 혹은 차별성을 직접 비교한 연구들은 전무하다고 판단된다. 이러한 희소 성을 고려할 때 ERP 연구자들과 방법론 연구자들 간 의 협업이 더욱 필요한 상황이며 더 나아가 ERP 연 구자들 스스로 그들이 측정하는 EEG 신호 자료의 근 본적 문제점과 방법론적 한계점을 정확히 인식해 관 련 전문 연구자들과의 협업을 통해 앞서 열거한 한계 점들을 극복하려는 시도가 향후 반드시 필요할 것으 로 예상된다.
REFERENCES
Agam, Y., Hyun, J. -S., Danker, J. F., Zhou, F., Kahana, M., & Sekuler, R. (2009). Early neural signature of visual short-term memory. NeuroImage, 44(2), 531-536.
Anderson, N. H. (1961). Scales and statistics: Parametric and nonparametric. Psychological Bulletin, 58(4), 305-316.
Baum, W. M. (2005). Understanding behaviorism: Behavior, culture and evolution (2nd ed.). Malden, MA:
Blackwell.
Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of Royal Statistical Society, 57(1), 289-300.
Blair, R. C., & Karniski, W. (1993). Methodology: An alternative method for significance testing of wave- form difference potentials. Psychophysiology, 30, 518-524.
Boik, R. J. (1987). The Fisher-Pitman permutation test:
a non-robust alternative to the normal theory F-test when variances are heterogeneous. British Journal of Mathematical Statistical Psychology, 40, 26 –42.
Coles, M. G. H. (1989). Modern mind-brain reading:
Psychophysiology, physiology and cognition. Psyc- hophysiology, 26, 251-269.
Cox, D. R. (2006). Principles of statistical inferences.
Cambridge, UK: Cambridge University Press.
Di Nocera, F., & Ferlazzo, F. (2000). Resampling approach to statistical inferences: Bootstrapping from event- related potentials data. Behavior Research Methods, Instruments, & Computers, 32(1), 111-119.
Donchin, E. (1981). Surprise!... Surprise? Psychophysiol- ogy, 18(493-5123).
Efron, B., & Gong, G. (1983). A leisurely look at the bootstrap, the jackknife, and cross-validation.
American Statistical Association, 37(1), 36-48.
Ernst, M. D. (2004). Permutation methods: A basis for exact inference. Statistical Science, 19(4), 676-685.
Gratton, G., Coles, M., & Donchin, E. (1983). A new method for off-lone removal of ocular artifact.
Electroencephalography & Clinical Neurophysiology, 55(4), 468-484.
Greenland, S. (1990). Randomization, Statistics, and Causal Inference. Epidemology, 1(6), 421-429.
Groppe, D. M., Urbach, T. P., & Kutas, M. (2011). Mass univariate analyses of event related brain potentials/
fields I: a critical tutorial review. Psychophysiology, 48, 1711-1725.
Hayes, A. F. (1996). Permutation test is not distribution free. Psychological Methods, 1, 184 –198.
Hays, W. L. (1994). Statistics. San Diego, CA: Harcourt Brace College Publishers.
Hyun, J. -S. (2008). The properties and measurement of N2pc component evoked by a target in visual search
(시각적 탐색에서 표적에 의해 유발된 N2pc 성분
의 특성 및 측정). The Korean Journal of Experimental Psychology, 20(4), 247-263.
Kappenman, E. S. & Luck, S. J. (2010). The effects of electrode impedance on data quality and statistical significance in ERP recordings. Psychophysiology, 47, 888-904.
Kim, D.-G., Kim, H.-Y., Kim, G., Jang, P.-S., Jung, W.
H., & Hyun, J.-S. (2016). Exploratory understanding of the uncanny valley phenomena based on event-related potential measurement (사건관련전위 관찰에 기초한 언캐니 밸리 현상에 대한 탐색적 이해). Science of Emotion & Sensibility, 19(1), 95-110.
Luck, S. J. (2005a). An Introduction to the Event-Related Potential Technique. Cambridge, MA: MIT Press.
Luck, S. J. (2005b). Ten simple rules for designing ERP experiments. In T. C. Handy (Ed.), Event-Related Potentials: A Methods Handbook (pp. 17-32).
Cambridge, MA: MIT Press.
Ludbrook, J., & Dudley, H. (1998). Why permutation tests are superior to t and F tests in biomedical research.
American Statistician, 52(2), 127-132.
Maris, E. (2012). Statistical testing in electrophysiological studies. Psychophysiology, 49, 549-565.
Maris, E., & Oostenveld, R. (2007). Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience, 164, 177-190.
Miller, J., Patterson, T., & Ulrich, R. (1998). Jackknife- based method for measuring LRP onset latency differences. Psychophysiology, 35(1), 99-115.
Miller, J., Ulrich, R., & Schwartz, W. (2009). Why jackknifing yields good latency estimates.
Psychophysiology, 46(2), 300-312.
Peterson, I. (July 27, 1991). Pick a sample, Science News, pp. 56-58.
Picton, T. W., Bentin, S., Berg, P., Donchin, E., Hillyard, S. A., Johnson, R., Jr., & Taylor, M. J. (2000).
Guidelines for using human event-related potentials to study cognition: recording standards and publication criteria. Psychophysiology, 37, 127-152.
Picton, T. W. (1980). The use of human event-related potentials in psychology. In P. H. V. a. I. Martin (Ed.), Techniques in Psychophysiology. New York: Wiley.
Rodgers, J. L. (1999). The bootstrap, the jackknife, and the randomization test: A sample taxonomy.
Multivariate Behavioral Research, 34(4), 441-456.
Rousselet, G. A., Thorpe, S. J., & Fabre-Thorpe, M.
(2007). Limits of event-related potential differences in tracking object processing speed. Journal of Cognitive Neuroscience, 19, 1241-1258.
Sawaki, R., Geng, J., & Luck, S. J. (2012). A common neural mechanism for preventing and terminating the allocation of attention. Journal of Neuroscience, 32(31), 10725-10736.
Shin, E. (2012). Lateralized readiness potential: on the
movement-related potential that uses the contrlateral
organization of motor control (편측성 준비 전위
(lateralized readiness potential): 대측 통제를 이용한
ⓒ 2017 (by) the authors. This open access article is distributed under the terms and conditions of the Creative Commons Attribution license (http://creativecommons.org/licenses/by/3.0), which permits unrestricted use, distribution, and reproduction in any medium, provided that the original work is properly cited.
