A Review of Multivariate Analysis Studies Applied for Plant Morphology in Korea

215

<총 설>

^{JOURNAL OF KOREAN FOREST SOCIETY}

국내 식물 형태 연구에 사용된 다변량분석 논문에 대한 재고

장계선

¹

·오하나

¹

·김 휘

²

·이흥수

¹

·장진성

¹

*

1서울대학교 농업생명과학대학 산림과학부 및 수목원,

2목포대학교 응용생명공학부 생약자원전공

A Review of Multivariate Analysis Studies Applied for Plant Morphology in Korea

Kae Sun Chang

¹

, Hana Oh

¹

, Hui Kim

²

, Heung Soo Lee

¹

and Chin-Sung Chang

¹

^*

1

Department of Forest Sciences and The Arboretum, College of Agriculture and Life Sciences, Seoul National University, Seoul, 151-921, Korea

2

Department of Medicinal Plants Resources, Mokpo National University, Muan-gun, Jeollanam-do, 534-729, Korea

요 약: 최근 10 여년간 (1997-2008 년 ) 국내 식물 형태관련 연구논문중 주요 3 개 학회지 ( 한국임학회지 , 한국식물분류학 회지 , 한국육종학회지 ) 와 기타학회지 ( 한국자원식물학회지 , 생명과학학회지 , 약용작물학회지 , 한국양봉학회지 , 원예과학 기술지 , 원예학회지 ) 등에 발표된 다변량 분석 54 개 논문을 재검토하였다 . 이들 논문에서 주성분분석 (PCA), 유집분 석 (CA) 이 가장 많이 사용되었는데 본 연구는 이와 관련된 분석방법과 기초 통계 분석의 문제점을 검토하였다 . 주성 분 분석의 문제점은 기존 표본에 추출과 자료의 정규분포성에 대한 가설을 무시하는 것으로서 분산과 공분산을 구 할 수 없는 정성형질을 섞어 사용하여 주성분 분석의 결과를 왜곡하여 분석하는 것이었다 . 또한 , 유집분석은 분석 방법론에 따라 상당한 차이를 보여 정량적 형질 보다는 정성적 형질로 계수화하여 분석함을 권장하지만 대부분 정 량적 형질로 분석하여 실제 상호 분석 대상군 간의 관계가 형성되지 않는 계단상 모양을 보였다 . 또한 , 일부 연구논 문에서는 통계적 가설을 무시하고 임의로 자료를 해석하는 것도 자주 발견되는 문제점 중 하나였다 . 주성분분석에 서 주의해야 할 점은 주로 정량적 형질 사용이 권장되며 , 이외 일정 수 이상의 변량 (20 여개 이상 ) 과 적절한 개체수

(40-50 개 이상 ) 가 필요하다는 것이다 . 유집분석 ( 혹은 군집분석 ) 은 분석 대상을 강제로 유집시키는 성향이 있어 통계

적 검증 방법을 사용하지 않고 단순히 거리 계산법 혹은 알고리즘 분석 방법에 의해 결과에 상당한 차이를 보이기 때문에 정량적 형질만을 근간으로 한 유집분석은 자제할 필요가 있다 . 모든 자료를 쉽게 분석하기 위해서 단순히 통 계적 방법론에 의존하기 보다는 연구목적과 일치한 분석 방법론을 적용하고자 하는 노력이 필수적이다 .

Abstract:

A review was given of the role of traditional morphometrics in plant morphological studies using 54 published studies in three major journals and others in Korea, such as Journal of Korean Forestry Society, Korean Journal of Plant Taxonomy, Korean Journal of Breeding, Korean Journal of Apiculture, Journal of Life Science, and Korean Journal of Plant Resources from 1997 to 2008. The two most commonly used techniques of data analysis, cluster analysis (CA) and principal components analysis (PCA) with other statistical tests were discussed. The common problem of PCA is the underlying assumptions of methods, like random sampling and multivariate normal distribution of data. The procedure was intended mainly for continuous data and was not efficient for data which were not well summarized by variances or covariances. Likewise CA was most appropriate for categorical rather than continuous data. Also, the CA produced clusters whether or not natural groupings existed, and the results depended on both the similarity measure chosen and the algorithm used for clustering. An additional problems of the PCA and the CA arised with both qualitative and quantitative data with a limited number of variables and/or too few numbers of samples. Some of these problems may be avoided if a certain number of variables (more than 20 at least) and sufficient samples (40-50 at least) are considered for morphometric analyses, but we do not think that the methods are all mighty tools for data analysts. Instead, we do believe that reasonable applications combined with focus on objectives and limitations of each procedure would be a step forward.

Key words :

multivariate analysis, cluster analysis, principal components analysis, qualtative characters, quantitative characters

*Corresponding author

E-mail: quercus@plaza.snu.ac.kr

서 론

생물의 외부형태를 수학적으로 묘사하는 방법을

morphometrics

라하며다양한통계적분석방법을사용한

다

.

최근

morphometrics

에서는

mapping

기법을이용하여 외부형태의

2, 3

차원에대한측정을용이하게하고

,

이들의 정량적분석을위하여일반적으로다변량분석

(multivariate

analysis)

^{을사용한다}

.

^{다변량분석은다수의형질을고려하}

는방법론으로단변량으로분석이어려운복잡한자료를 일목요연하게 정리할 수있는 분석방법이다

(James and

McCulloch, 1990).

통계분석으로서다변량분석에는여러

가지기법이존재하나

morphometrics

에서활용되는것은

주로 유집분석

(Cluster analysis),

^{주성분분석}

(Principal components analysis)

그리고 판별분석

(Discriminant

analysis)

등으로자료의특성을이해하기위해대상자료

의차원을낮추어가능한분석대상간의구성관계를이해 하고자료를효과적으로설명하는데활용된다

(Henderson, 2006).

다변량분석은전세계적으로

1960

^{년이후생물분야}

(

^분

류학

,

임학

,

원예학

,

육종학

,

생태학등

)

에많이사용되었 지만

,

국내에서는

1980

년후반부터생물관련 학계에서 다양한 목적으로 사용되었다

.

식물분류학 분야에서

morphometrics

^{의사용은수리분류학과깊은관련이있다}

.

수리분류학은

1950

^{년대부터주로변량}

(=

^형질

)

^에대한분

석보다는종의유별

(classficiation),

혹은계통

(phylogeny)

분석을위한연구방법의하나로이를전형질분석

(phenetics)

이라하며통상적으로하나의학파를형성하였다

.

현재수 리분류학은전형질분석학파의몰락과함께계통학적해

석에서는사용하지않고대신분계분석

(cladistics)

^방법이

주로사용되고있다

.

그이유는수리분류학에서분류군간 차이를분석하기위하여이용되는형질은진화적성격의 형질이아닌수렴또는평행진화를하는형질

(homoplasy)

이기때문이다

.

계통연구의한학파인전형질분석학파의 수리분류학은

Henderson(2006)

^{의주장처럼식물분류학에}

서사용하는일반적인다변량분석과별개로취급된다

.

또 한

,

지금의 분류학자들 역시 다변량분석을 특정 종의

complex

문제나잡종현상분석을위해활용하고있고현

장의표본관분류학에서전통적인연구방법으로서활발히 활용하고있다

.

다변량분석은다양한연구분야에서사용되는만큼연 구자들은통계에대한깊은지식이없이자료를기계적으 로분석하여자료해석에오류가발생하기도한다

.

특히

,

현장의연구자들이쉽게범하는다변량분석에대한오해 중가장두드러진것은다변량분석의결과를실험적검증 으로인식하는것이다

.

^즉

,

^{대부분의다변량분석에서얻어}

진우연적인결과를분석에서실시하지않은통제된실험

과검증을한것처럼해석하는오류이다

.

분명다변량분 석중유집분석과주성분분석은기술적

(descriptive)

인모 델이기때문에분석대상의유집이나공간적분리에대한 특정한원인을직접적인원인으로판단할경우논리적모 순에빠지게된다

.

이러한순환논리에서벗어나기위해서 는기술적인모델로부터얻어지는다양한원인에대한관 찰연구를통한유사실험설계

(quasi-experimental design)

또 는실제통제된실험설계를통한검증이필요하다

(James and McCulloch, 1990).

이와함께일반 연구자들이범하는다변량분석에서의 오류는적용하는통계적기법에따라다르지만

,

일반적으 로쉽게간과하는통계적가정들이있다

.

분석의특성상 통계적추론을실시하는분석은통계적가정이반드시존 재한다

.

추론적분석인지아닌지에따라실제분석간의차 이가존재하는데

,

예로서Q

-mode type

분석인유집분석은 개별분석대상간의유사한특성으로묶어주는분석으로 통계적가정에의존하지않는다

.

유집분석의경우통계적 가정에의존하지않기에주성분분석과는달리정성적데

이터의 사용이 문제되지않는다

.

^{반면에 R}

-mode type

^인

주성분분석나판별분석의경우분석대상의특성으로부터 산출되는변량간의특성에의존하기때문에통계적가정 이존재한다

.

통계적추론의기반에서자료로활용되는데이터는반 드시무작위표본추출을기본적인가정으로한다

.

^이에

대해

,

일부학자는무작위적표본추출을매우강조하지 만

,

일부는이에대한문제점은생물학혹은분류학연구 에서별로문제가되지않는다고보고있다

.

따라서

,

본연 구에서는논란의여지가있는무작위적표본추출에대한 문제는토의에서제외하였다

.

^또한

,

^{다변량분석을위해서}

는각각의모든변량과조합이정규분포를만족해야하는 다변량정규분포특성을고려해야하지만

(Henderson, 2006),

이를확인할방법이부족하고일부의경우정규분포특성 이실제다변량분석에서민감도가떨어진다는보고도있

다

(Henderson, 2006).

^그러나

,

^{기본적인정규분포특성의}

확인절차는반드시필요하다

.

유집분석은 분석대상을 유별하여 설명하는분석으로

,

가장비슷한대상물을하나의그룹으로묶어계층적구조

로설명하는방식이며결과물은수형

(tree)

의구조를보여

준다

.

^{유집분석을실시할때연구자가결정하여야할두}

가지중요요소는분석대상간의관계계수

(

유사도또는거 리

)

를측정하는방법과관계계수에따라유사한것을묶 어주는알고리즘에대한선택이다

(Henderson, 2006).

주성 분분석은행렬수학을이용하여전체데이터의변량들의 분산값이최대로늘어나는방향을

1

^{개의축으로잡고좌}

표계에 이러한축과 직각을이루는 방향에나머지 변량 중최대의분산값을갖는축을순차적으로제시하는방법

이다

(James and McCulloch, 1990).

대부분의분산값은초 기

2-3

개의주성분으로설명되기때문에이러한값이주 성분분석의설명요소를 축약해보여주는것으로알려져 있다

.

주성분분석은분명변량간의관계에의존하기때문 에성질이다른정성형질과정량형질을섞어서사용할경 우자료가 왜곡될가능성이높다

.

따라서정성형질과정 량형질을함께사용할경우

,

분석대상혹은측정개체간의 거리 자료로부터 시작하는 Q

-mode type

^{분석의 일종인}

PCoA(Principal Coordinate Analysis)

를사용하기도 한다

(Henderson, 2006).

국내에서발표된다변량분석논문을검토해보면통계 학에대한기초지식없이자신의연구분야에적용을하 면서변량선택과개체수그리고해석에오류를만들고

,

특정연구자가이런오류를유사논문에서지속적으로발 표하고있다

. James and McCulloch(1990)

은다변량분석의

12

개방법론을열거하였지만

,

본연구에서는주로국내에 서발표된논문중주성분분석

,

군집혹은유집분석과함 께일반기초통계분석의오류를검토하여유형별로문 제점을요약하고앞으로연구논문에이런오류가재생산 이되지않았으면하는바람에서본자료를정리제시하 였다

.

연구방법

최근

10

여년간

(1997

년

-2008

년

)

발표된생물관련국내 학회지인한국식물분류학회지

,

한국육종학회지

,

한국임학 회지와기타관련학회지에서식물외부형태와관련된다 변량분석논문을중심으로문제점에대해정리하였다

.

3

^{대학회지중한국육종학회지는다변랑분석을통한작}

물의품종판정에대한논문이주로발표되었으며

,

임학

회지는

2000

년도에는집단을중심으로한지역간형태변

이에대한논문이발표되었다

.

한편

,

한국식물분류학회지 는다변량분석을통한종식별에대한논문이정리발표 되었다

.

따라서

,

본연구는

10

년간발표된

3

개학회지

(

한국임학

Figure 1. Numbers of articles about multivariate analyses for morphological characters in three Korean Journals from 1997 to 2008 ( ■ : Korean Journal of Plant Taxonomy, : Journal of Korean Forest Society, : Korean Journal of Breeding,

□ : other journals).

Figure 3. Sample numbers plotted against frequencies of arti- cles (standardized by respective otal of papers in journals) from 1997 to 2008 ( ■ : Korean Journal of Plant Taxonomy, : Journal of Korean Forest Society, : Korean Journal of Breeding, □ : other journals).

Figure 4. Plot between three reviewed major journals with other jornals and proportions of articles using both qualitative characters and ratio characters from 1997 to 2008 ( ■ : qualita- tive characters, : ratio characters).

Figure 2. Numbers of characters for multivariate analysis

plotted against frequencies of articles (standardized by

respective total of papers in journals) from 1997 to 2008 ( ■ :

Korean Journal of Plant Taxonomy, : Journal of Korean

Forest Society, : Korean Journal of Breeding, □ : other

journals).

회지

,

한국식물분류학회지

,

한국육종학회지

)

및기타학회 지

(

한국자원식물학회지

,

생명과학학회지

,

약용작물학회지

,

한국양봉학회지

,

^{원예과학기술지}

,

^{원예학회지}

)

^{에발표된다}

변량관련논문수를학회지별로조사하였으며

(Figure 1),

다변량분석에사용된형질의수

(

변량

)

을조사하였다

(Figure 2).

이외조사된분류군별로개체수

(Figure 3)

와다변량분석 중문제가되는정성형질을사용하거나비율을형질로사

용한논문수

(Figure 4)

^{도조사하여제시하였다}

.

결과 및 고찰

1. 10년간 발표된 국내 주요 학회지 논문 분석

Figure 1

^{에의하면발표된식물외부형태분석과관련된}

다변량분석논문수는한국식물분류학회지가 통상매년 꾸준히

2-3

편이고

,

타 학회지는 대부분매년

1-2

편에 불과하다

.

즉

,

국내학회지중다변량분석과관련된논문 수는

10

년간

54

편이었는데

,

이중한국식물분류학회지에 발표된논문이

26

^{편으로절반이상이다}

.

^{반면대부분다}

른학회지는매년

1-2

^{편이발표되는정도이며한국임학회}

지역시전체발표수가

11

편으로

20%

에불과하다

.

학회지 별로

1

년에발표되는총논문발표수가차이가많이나지 만한국식물분류학회지를제외

(10%)

하고는전체논문발 표수중

5%

^{이하가되며}

,

^따라서

,

^생물

,

^농학

,

^{임학관련분}

야에서다변량분석자체가그다지많이이용되지않는방 법론임을알수있다

.

Figure 2

에는분석에사용된형질수

(

변량수

)

를조사하였

는데한국임학회지와한국육종학회지는 대부분

10-20

개 의형질을사용하였으며

,

정량적형질을사용하는다변량

분석에정성적형질을많이활용한것으로확인된다

(Figure

4).

한국식물분류학회지는

15-45

개의비교적많은형질을 사용하였지만

, Figure 4

의그림에서확인되듯주로조사형 질을근간으로만든비율형질을과다하게사용하였다

.

Figure 3

에서는각대상분류군간에사용된개체수를조

사하였는데대부분논문에서

10-20(30)

^{개의개체수를사}

용한것을확인되어그다지분석대상분류군별로많은개 체수를사용하지않았음을확인하였다

.

특히

,

개체수와관 련된내용과 대상분류군간의수에 대한혼란으로실제 논문에서언급된것과분석방법에는차이가있다

(

아래설 명참조

).

2. 정성적 형질을 사용한 경우

기존발표된다변량관련논문중가장문제가되는것 은정성형질을사용한분석이다

.

원래변량자체가양적 인자료로서정규분포를가지는변량을사용하여야하는 데다수의연구논문들은정성적형질사용으로전체자 료왜곡현상을야기하고

,

따라서분석의오류를범하고

있다

.

이러한논문은육종학회지와식물분류학회지에발 표된논문에서자주발견된다

(Hwang

et al.

, 2007; Park

et al.

, 2007; Song and Kim, 2005; Song and Kim, 2007).

Hwang

et al

. (2007)

과

Park

et al.

(2007)

에서는

35

개의 형질중

6

개의정성형질

[

엽병의털의유뮤

,

소지의 털의 유무

,

화서의형태

(

원추또는총상

),

낙엽성혹은상록성

,

관목혹은교목

,

열매의형태

]

과

32

개형질중

7

개의정성 형질

(

^{암술의탈락혹은숙존}

,

^{소지의털의존재}

,

^소엽의털

의존재

,

소엽의거치유무

,

거치침의존재

,

열매의색깔

)

을사용하였는데이런정성적형질이분석에서결정적인 결과를유도하여자료분석에서마치분석대상종간에뚜 렷한차이가있는것처럼보여주고있다

.

이런결과는정 성형질들이모두

PC 1

^혹은

2

^{에서높은수치를보이면서}

각대상분류군간의의도적인분리를시도하였음을보여 준다

. Song and Kim(2005, 2006, 2007)

의

3

개논문에서 사용된방법론은분석방법에따른자료해석의변화를볼 수있다

. Song and Kim(2005)

에서는

29

개의형질중단

1

^{개의 정성형질을사용하여대상종간의 분석에별다른}

영향을 주지않아분석된 종간에확연한 차이가없음을 주장하였다

. Song and Kim(2006)

에서는모두

24

개의정 량형질만을 분석하여별다른 문제점은없이

3

개의분석 대상분류군중

2

개로구분됨을주장하였다

.

그러나

,

이후 논문

(Song and Kim, 2007)

^에서는

61

^개형질중

14

^개정성

형질을사용하여정성형질들이

PC 1

^혹은

2

^{에직접적으}

로간여하게만들고이를근간으로몇몇분석분류군간 에구분이된다는해석을시도하였다

.

즉

,

기존분석에서 는정량적형질을사용하여분석분류군간구분이확연하 게나오지않았지만

,

정성형질이추가됨에따라분석대 상종간차이가있음을

3

^{개논문을통해순차적으로보여}

주고있다

.

실제

3

개논문에서는재료및방법에명확하게 분석대상군이무엇인지밝히지않아전체논문내용을

읽으면서이를추정해야하는문제점이있었으며

,

특히

Song

and Kim(2007)

에서는

779

개의개체를사용하였다고기술

하지만실제

ordination

^{에서는절반도안되는숫자가그림}

에나타나실제사용한개체수에대해서도의문이다

.

이외 에도

Lee and Park(2007)

은

20

개형질중

2

개의정성형질을 사용하였고결과에서도

PC 1

혹은

2

에다른형질에비해 영향을준결과를뚜렷하게보여주고있다

.

정성적형질사용에의한문제점은위에언급된한국식 물분류학회지이외에원예과학기술지에서도다수발견된 다

. Chung(1999)

은

53

개의분석대상군간에

10

개의개체 를통해

27

개형질을분석하였는데

21

개의정성형질을 사용하고있다

.

이중

4

개형질에서는형질상

(

形質象

)

을

15- 18

^{개로열거하면서가중치를두고분석한후이런차이가}

나는형질상이마치대상군간뚜렷한차이가있는것처럼 자료해석을하고있다

.

Lee(2002)

는명확하게분석대상군을설명하지않았지 만논문결과를통해유추해보면

44

개의분석대상군을 설정하여각대상군당

5

^{개의개체를사용하였고}

, 10

^개의

정량형질과

11

개의정성형질등모두

21

개의형질로주 성분분석을시도하였다

.

이논문역시과다한정성적형 질을사용하여의도적으로대상분류군의

grouping

을시 도하였고

,

또한각분석대상군당너무적은개체수를사 용하여바람직한다변량분석이아니다

.

Kim, J. H

et al.

(2006)

은

3

개의분석대상군을설정하고

38

개의많은형질과

173

개체의개체수를분석하였다

.

형 질

3

개는정량적형질을사용하여

PCA

를실시하였는데

,

해당논문의결과에서보여주는바와같이정성적형질의 자료해석에큰문제점은보여주지않았지만전체

4

^개성

분에대한

eigenvalues

의누적비율이

50%

를넘지못해주

성분분석결과이용에문제가있다

.

논문저자들은형질 분석결과분석대상군이뚜렷하게구분된다고주장하였 지만

,

실제주성분분석에서는대상군간뚜렷한차이점을 보여주지못한결과로자료와해석이서로모순된결과를 보여주고있다

.

^{실제자료를자세히 보면주성분분석결}

과각

3

개분석대상군의구분에도움을주는일부형질 들이있는데

,

이러한유효형질에대해서몇개주요형질 별로단변량산포도를보여주었다면저자들의주장이오 히려설득력이있지않았을까판단된다

.

여러논문중정성형질과정량형질을사용하여생긴문 제도흔하지만

,

일부연구자는분석대상과개체수의차이 를몰라잘못기재하거나해석하는경우도있다

. Yoo

et al.

(1998)

은

14

개형질

(

이중

3

개가정성형질

)

로

3

개집단과

1

개다른종등

4

개의분석대상군에전체

72

개체를사용

하였는데

,

^{저자는전형질분석에서사용하는}

OTU(Operational

Taxonomic Unit)

를분석대상군이

4

개임에도불구하고

72

개

OTU

라고표현을하고있다

.

역시이논문에서도정량 과정성형질을분석에함께사용해서발생하는유집분석 의문제점도보여주고있다

(

아래유집분석의문제점참조

).

3. 분석 대상 분류군당 사용한 개체수의 문제

식물분류학회지에발표된 일부연구논문에서는 연구 자의의도와달리개체수설정을잘못해서집단이나종을 대상으로한분석자체가뒤바뀐경우가자주확인이된다

. Cho

^{et al.}

(1997)

^{은재료및방법에서두종의}

11

^개집단

을분석대상군으로설정하였다고하였는데

,

실제분석결 과를보면개체가개체수가아니라집단별로평균을사용 하여

,

결과적으로두종을분석대상군으로설정한꼴이 되고각군별로개체수는

6

개와

5

개로분석한자료가되 어극소수의개체수를통한다변량분석을한경우가된다

.

이와 유사한 오류는

Hwang

^{et al.}

(2007)

^과

Park

^et

al.

(2007)

에서도확인된다

. Hwang

et al.

(2007)

에서는

309

개의개체를

24

개분석대상군으로설정하여각군당평 균

12

개

(

개체

)

의개체수를시도하였다

.

실제로일부분류 군에서는

5-6

^{개를사용한경우도있어다변량분석에심각}

한오류를야기하고있다

. Park

et al.

(2007)

은재료및방 법에전체

19

개의분석대상군을고려한다고기술하였으 나해당논문의

Figure 2

에서는

19

개의형질

(

실제로

33

개 로재료및방법에기술함

)

을조사하였다고밝히고있어

,

저자들스스로분석대상과형질수에혼선이있음을보 여주고있다

.

이두논문의또다른문제점은주성분분석

ordination

그림에서보여주는것은분석대상군의숫자인

24

개와

19

개만이각각나와있어자료분석이각분석대 상군별로개체수에의한분석이아니라대상군별평균값 을계산해서보여준것이며

,

^{결국두논문에서사용된것}

은각각

8

개

, 4

개의분석대상군을사용한것이다

.

따라서

,

각분류군별로저자들이주장한집단이실제집단이아니 라결국개체수가되서

,

개체수가많게는겨우

2

개에서

8

개밖에안되는분석이된다

.

또한

Park

et al.

(2007)

은재

료및방법에서

“....

^{조사된형질은분산분석}

(ANOVA)

^과

상관관계분석을통하여유효형질로설정된

35

^형질의

data

matrix

를작성하였고

,

이를토대로

....”

라고기술하였는데

논문내용에는

ANOVA

와상관관계분석결과에대한내

용언급은전혀없어왜이런분석자체를하였고이런기 술을하였는지의문시된다

.

한국육종학회지에발표된일부논문에서도역시유사 한문제점이확인된다

. Kim

et al.

(2007)

은

4

분류군

61

개 체에

11

개

(9

개정량형질과

2

개비율형질

)

형질을분석하 였는데주성분분석결과를보면모두

4

개의점이확인된 다

.

이런분석은아마도저자들이생각하는분석대상군당 각형질별로평균값을계산하고이를근간으로분석하였 다고유추된다

.

결국

4

개분석대상군을대표하는평균값

1

개체만으로주성분분석을한것으로다변량의정규분포 에서 표본추출을해야하는방법론 자체를아예무시한 것으로분석자체의목적을이해하기힘들다

.

이런동일 한논문유형은

Koo

^{et al.}

(2001)

^{에서도확인된다}

.

^이논문

에서는정확하게대상분류군이무엇이며개체수를제시 하지않고있는데형질수는본문에

5

개가언급되며

3

개 를비율로사용하였다고기술하고있다

.

주성분분석결과 를유추해보면

6

개의교배한클론이확인되는데결국전 체대상분류군은

1

^개이고

6

^{개가개체수인것으로확인된}

다

. 10

개미만의형질과몇개안되는개체수

,

그리고불 투명한 분석대상군으로주성분분석을왜실시하였는지 연구목적과이유자체를이해하기가어렵다

.

Yoo

et al.

(2000)

은

6

개의집단을분석대상군으로정하

고

21

^{개의정량형질}

(

^요약에는

qualitative

^{라표현하였지만}

quantitative

^{의오타로추측}

)

^{을근간으로분석하였는데대}

부분결과해석에는문제가 없지만전체

71

개의개체를

이용하고대상분류군당약

12

개의개체를사용하여개체 수가너무적었다

.

유사한문제는동일저자의다른연구 논문에서도확인되는데

(Yoo

^{et al.}

, 1998),

^총

62

^개체를

3

개의분석대상군으로정하고

(

분석대상군당

20

여개

), 3

개 의비율을포함한

14

개의선택된정량형질을사용하여다 변량분석을시도하였는데이연구에서는형질

(

혹은변량 수

)

수가너무적어방법론을잘응용한분석으로보기어 렵다

.

Jang

et al.

(2001)

은다른연구와달리보리

28

개품종을

12

개의형질로주성분분석을실시하였는데이분석도분 석결과를통해서유추해보면결국보리전체를한개의 분석대상군으로보고개체수를

28

개로본분석으로

,

각 개체

(=

^품종

)

^의

ordination

^상에서

grouping

^{을시도하는방}

식으로진행하였다

.

특이한것은논문에서

12

개의형질분 석결과에대해서도전혀언급이없고형질이각주성분 상에어떤양상을보이는지도제시하지않고있다

.

다변 량분석에서어떤형질로어떤분석방법을사용하였는지 제시하지않고단순히나온자료결과만을의미없이토의 한유일한논문이아닌가판단된다

.

개체수에대한문제는단순히개체수가적어야기되는 문제도존재하지만더욱심각한것은연구자들이분석대

상군

(

일명

OTU)

에대해명확하게이해를하지못하고단

순히측정한 숫자가개체수임을제시하는경우이다

.

^즉

,

측정을한후그자료자체를분석해야함에도불구하고

집단이나종

(

즉

OTU)

별로평균을계산하고그평균값을

이용해다변량분석을실시하고있다

.

이럴경우본인의의 도는명확하게논문의재료및방법에서

OTU

와개체수 를설정하였다고설명하지만결과분석자체는평균값만 을사용하여

OTU

^{내개체수를 의도적으로줄여버렸고}

,

따라서

OTU

가집단에서종으로바뀌는현상이여러논 문에서어렵지않게확인된다

.

4. 적은 수의 변량 사용과 비율을 과다하게 사용하여 분석한 경우

Song

et al.

(2000)

에서는재료및방법에형질의수와분 석대상군에대한명확한내용을밝히고있지않다

.

본문 에열거된내용으로판단해보면

, 9

개의형질과

19

개집 단에대한대상분류군의지리적변이분석에연구목적 을두고있는것으로판단된다

.

^{본연구에서너무적은수}

의변량사용을통해주성분분석을실시하였고

,

또한

9

개 의형질중

2-3

개형질은상호상관계수가매우높아잎 형질변이를해석하는목적의분석으로는적절하지않다

.

또한

,

위도

,

경도혹은고도에따른변이양상에대한회 귀분석을실시하였는데기울기계수가거의

0

^에가까워

형질과이런독립변수와는무관함에도불구하고부나정 의상관에대한해석을시도하여통계해석에대한문제

점을도출하고있다

.

Kim

et al.

(2000)

의논문에서는

6

개의분석대상군과

20

개의형질을사용하였는데분석대상군당사용한개체수 도역시

8-22

개로매우적다

.

또한

20

개형질중무려

11

개의기존측정한형질과의비율을추가형질로사용하여 의도적으로각변량간상관관계를높이는효과를시도하

였다

.

즉

, 2-3

개의비율사용은그나마전체분석에서자

료왜곡현상은그리크지않지만전체형질의

50%

^가넘

는비율사용은결국의도적으로상관관계가높은형질의 비율을높이고따라서전체적으로

eigenvalue

의

PC

의

3

축 에서누적비율을

80%

까지올리는효과를볼수있다

.

실 제다변량분석에서변량자체가정규분포를보이는정량 적형질을사용하기때문에비율을형질로사용하는것은 이런문제를야기하고따라서자료변환을할필요가있다

. Park

et al.

(2008)

은

8

개집단을 분석대상군으로 보고 각집단간

20

개체에 대하여

7

개의정량형질을분석하였 는데전반적으로해석상의문제는없으나적은변량과개 체수때문에다변량보다는단변량이오히려저자의연구 목적을 설명하기에 낫지 않았나하고 판단한다

. Jang

^et

al.

(2006)

의논문에서도역시동일한문제점이확인되는데

9

개의분석대상군에

12

개형질과전체

92

개체로서

OTU

당평균

10

여개체개체수준으로변량과개체수에문제점 을노출하고있다

.

^또한

,

^{집단이나혹은종단위의분석이}

아니라클론을대상으로분석으로많은형질들이클론간

차이를보이지않아

Park

et al.

(2008)

의연구처럼단변량

분석이더적절할것으로판단된다

.

Kim

et al.

(1999)

는

10

개의벼계통과

12

개형질을측정 하였는데개체수에대해서는명확하게밝히지않고주성 분분석을실시하였다

.

^{사용된형질의수가너무적고}

,

^더

구나이중

3

개는정성적형질이며일부는

0.99

의높은상

관관계를보여주는형질이중복반영되기도하였다

.

이런 자료로구지다변량분석을실시한목적과이유를이해하 기가힘들다

.

또한논문의결과부분에서도이분석에대 한결과및결론을제시하지않고있다

.

Lee and Park(2003)

은논문에서재래옥수수품종을판

정하기 위해주성분분석을실시하였다고밝히고있지만 몇개의분석대상군이설정되고

,

각군별로몇개의개체 가있는지설명이없다

.

결국개체별로분석대상군을설 정한것으로추정되는데이를다변량분석으로보기는어 렵다

.

또한

7

개의형질만을분석하여다변량분석을시도 한것역시무리가있다

.

5. 유집분석 해석의 문제점

다변량분석에서주성분분석의경우는통계적방법으로 자료해석이가능하지만유집분석의경우는가설에대한 검증이없이단순히분석대상군간의차이를거리로환산

하여

grouping

을도출하는분석방법이다

.

따라서

,

유집분 석의 문제점은 거리를 계산할때 사용하는 계산 방식

(simple, complete, average)

^{에의해결과가다르게나오며}

단순히 기초자료의거리를 계산

(Euclidian distance)

하는 방식과상관관계등자료를변환해서거리를계산하는방 식에따라결과가확연하게다르게나온다는것이다

.

또

한

, grouping

을위해강제로연결하는방식때문에 분석

대상군간특정관계가없을때에도각군간에계단상모 양의형태를보여주고

,

주성분분석과마찬가지로자료에 있어정성과정량적자료가혼합되어있을때정성형질에 의해영향을받는다고알려져

있다

(James and McCulloch,

1990).

특히

,

유집분석은정량형질을사용할경우해석상

의문제점

(James and McCulloch, 1990)

^{이자주언급되는}

데이런연구결과는국내논문에서쉽게찾아볼수있다

.

위에언급된문제점은

Kim

et al.

(2005)

에서모두집약

해서볼수있다

.

이연구에서는분석대상군의숫자를

12

개라고명시하고분석도

UPGMA(‘average’)

라고설명하

면서정작분석한그림은

‘complete’

^{분석방법을제시하}

고

(

^논문의

Figure 7.

^참조

)

^요약에는

25

^{개의분석대상군}

을명시하고있어저자자신이

OTU

와분석방법론을이 해하지못해기술한것이아닌가의심이된다

.

이논문에 서는정량적형질

14

개

,

정성적형질

11

개를사용하여각 각따로유집분석을한후

,

^{정성과정량형질을모두혼합}

하여분석한자료를각각제시하였다

.

^이

3

^{개의그림을비}

교해볼때

,

정성적형질로분석한그림

B

가정성과정량 형질을합친그림

C

와유사하게나와결국정성적형질이 얼마나자료에영향을주었는지를직접확인할수있다

.

또한

,

대부분유집분석그림이계단상모양의

OTU

관계를 보여주어각종간관계가명확하게존재하지않음을확인 할수있었는데

,

저자는이자료해석을기존분류체계와 일치한다고하여분석의오류자체가자의적해석으로오 용될수있음을보여준다

.

이논문의또다른문제점은정 성적형질인

0

혹은

1

과

2

등의숫자의원자료를그대로 분석하여

, 2

^{로나타나는종은대부분원자료의}

0

^과는두

단계

, 1

을가지는종과는한단계의차이점을유도하여형 질

2

를가지는분류군은의도적으로

0

을가지는분류군과 차이가많이나게하는왜곡현상도시도하였다

.

이런분

석은해당논문의

Figure 7

에여실히드러나있어결과적

으로유집분석에서범할수있는모든문제점을종합적으 로보여준논문으로본다

.

Ahn

et al.

(2002)

은

10

개집단에대하여집단별로

20

개 체

,

그리고개체별로

20

개의잎을따서분석하였다고설 명하고있다

.

분석대상군에대한명확한정의는없지만 분석결과로보면집단을군으로본것으로추정되고

,

^제

시된재료및방법내용으로전체

4000

^{개의잎을측정한}

것으로보인다

.

그러나

,

논문의

Figure 3

주성분분석에서

는

10

개의점만을보여주면서집단간구분이매우뚜렷함 을주장하고있지만

,

유집분석결과는이를지지하지않 고있다

.

^즉

,

^{두개의유집분석결과그림}

(

^논문의

Figures

2

와

4)

에서는집단간모두계단상형태를보여집단간차

이가존재하지않음을 보여준다

.

실제로이논문에서보 여주는결과는각분석이각각재현성이없는유집분석의 문제점을고려하더라도전체조사개체와전체측정된숫 자

,

^{그리고제시된집단수}

,

^{개체수등의자료분석이일치}

되지않아연구내용에대한이해가매우어렵다

.

이와유

사하게

Song

et al.

(2000)

에서도분석결과가계단모양의

유집분석을보이고

,

이런결과자체로집단관계해석이불 가능함에도불구하고이를근간으로전국집단의구분시 도하였다

.

^{이는실제자료가집단간구분을보여주지않}

음에도불구하고임의로자료를해석해서결과로제시한 것으로판단된다

.

실제만약이런분석결과가지지된다면 반드시집단간뚜렷하게구분되는정량형질을수치로제 시하여각집단별로어떻게뚜렷한지를도식화할필요가 있다

.

Kim

^{et al.}

(2003)

^의

11

^{개형태형질과}

10

^{개분석대상군}

간의유집분석에서도역시계단상모양을보여집단간차 이에대한결과가확인되지않는다

. Yoo

et al.

(1999)

도

16

개의양적형질로

5

개분석대상군

(4

개집단

5

개지역으 로구분

)

^{에대해분석하였는데역시정량형질을사용하여}

대부분자료가보여주는계단모양으로분석대상군이구 분되지않음을보여주고있다

.

대부분정량적형질을근간으로한분석에서는이런유 집분석의계단상결과가나올수밖에없고따라서정량 적형질을근간으로한유집분석보다는정성적형질이나 혹은정량적형질도어떤거리공식으로환원하여자료를 분석할필요가있다

.

6. 통계 분석상 귀무가설 및 대립 가설의 해석을 잘못 한 경우

발표된다변량논문중일부연구논문에서는분산분석

(ANOVA)

이나기초통계검정을하면서가설설정이잘

못되거나대립가설에대한해석의오류를범하는논문들 이다수있다

.

Song

et al.

(2000)

의논문에서는

nested design

의

ANOVA

분석에서귀무가설과대립가설에대한설명없이

“

^집단간

및집단내의개체간에모든형질에서고도의유의적차이 가인정된다

.”

는표현을사용하였다

.

제시된논문의자료 를보면귀무가설은 형질별로각집단간 평균의차이가 없다는것이고대립가설은이중최소한한개집단

(

혹은 개체간

)

^{에차이가존재한다는것으로결과적으로단한}

개의집단이나개체에서차이가있으면귀무가설을기각 하게되어있다

.

즉예로서

A

형질의

19

개집단을모두보

면유난히마니산집단이다른집단에비해크게나와최 소한다른한집단의평균자체가전체집단과달라귀무 가설을 기각하고대립가설을 받아들이게되어있다

(

^대립

가설

:

최소한

19

개집단중한개의평균값이다르다

).

따 라서

,

조사된형질은모든집단

(

혹은개체간

)

을구분하는 것이아니라이중

1-2

개집단이다르다는것이며명백하

게자료를잘못해석한결과이다

. Song

et al.의해석을받

아들인다면결국각형질별로전체집단이나개체가구분 이된다는것이며조사된수많은형질에서분석대상군 간에차이가존재한다면이는종수준의차이이며집단이 나개체수준의차이가아니며

,

따라서해석의오류라는 것을쉽게확인할수있다

.

Woo(2003)

^{의논문에서도유사한통계적문제점은확인}

된다

. Woo(2003)

는대립가설에대한설명은올바르게하

면서적어도한개체에서평균값이다르다고하였다

.

즉

,

조사된

28

개개체중한개가다르다고확인을하였음에 도불구하고

,

동일논문의다른부분에서는조사된 음나 무의각집단은차이가뚜렷하게존재한다고주장하는모 순된이야기를하고있다

.

^또한

,

^이논문의

Table 6

^에서는

평균값으로조사된대상분류군과기존발표된논문의평

균값과의차이를알기위해 t

-test

를실시하였다고하는데

반복이없는상태에서어떻게통계적검증을하였는지의 문이든다

.

^{이외에동일한문제점은}

Kim

^{et al.}

(2003)

^에서

도

ANOVA

^{분석의가설검증결과에대한해석상의동일}

오류가확인된다

.

7. 분류학 논문에서 발견되는 문제점

분석대상을집단으로설정하는경우에는비교적명확하 게분석대상군에대한정의를내릴수있지만종을단위로 분석대상군을설정한경우

(

한국식물분류학회지논문에서 주로확인됨

)

에는순환논리의오류에빠질수있다

.

즉

,

왕 에게왜왕이냐고물으면부인이여왕이기때문에왕이라 고대답하고

,

여왕에게물어보면남편이왕이기에자신이 여왕이라는모순이확인된다

.

^{선험적으로특정형질을근}

간으로분석대상군을설정하고

,

분석한후자신이사용한 형질이분석분류군을구분하는가장좋은형질이라는순 환논리에빠지는경우이다

.

따라서

,

선험적으로형질을근 간으로종을정의하고해당형질을분석에활용하여결과 에이형질이각분석대상분류군을뚜렷하게구분하는유 용한형질이라는순환논리에빠지기보다는

,

분석에사용 되지않는형질

,

즉집단에의해분석대상군을설정하거나 혹은분포를근간으로하거나

,

또는분석에사용되지않는 정성적형질등을근간으로분석대상종을선험적으로설 정하고분석을시도해야한다

.

^{주성분분석이나유집분석은}

주로선험적으로분석대상군을설정하기보다는분석후 후험적으로분석대상군을확인하는방법인데

,

이에대한

기본적이해가부족해서분류학회지논문의경우이를반 대로생각해서연구를시도하는논문들이다수확인이된다

.

한국임학회지에발표된

Kim, N. Y

^{et al.}

(2006)

^의연구

는모범사례로본다

.

생식형질과잎의형질을포함한

18

개형질로

6

개집단내

10

개체를채집하여분석하였는데 분석대상군당개체수가부족한것이문제지만연구목적 과결과는정리가잘되어있다

.

유집분석에서자세한분 석방법에대한설명이부족하여다소문제가되지만결과 자체에서도

3

개

grouping

을설명하고있어다른연구에서 오류를범한것과는대조를이룬다

.

결 론

통상현재까지분석한정량적자료를종합해보면주성 분축이

3

개로구성되는수준에서변량이정규분포를하 면서상관간계가낮을경우

eigenvalues

의누적비율이

60-

70%

이상나오지않는것이보편적결과이다

.

이런자료

에서

ordination

^{상으로대상분류군간뚜렷한양상을보일}

때는 많은조사형질중반드시분류대상군을구분하는 좋은형질이존재함을확인할수있다

.

또한

, 3

개주성분

축을 근간으로 한

eigenvalues

의 누적값이며 나머지

ordination

에서는통상

30-40%

가다른축에포함되기때

문에단순히

ordination

^{이보여주는분석대상군간의차이}

가전부가아니기에그림으로나타나는각대상군간차이 가모든것을설명한다는해석상의오류는바람직하지않 다

.

주성분분석은각주성분축과상관관계가높은형질을 찾아내고

,

각분석대상군의구분이나차이에가장큰영 향을주는형질을찾아확인하고

,

이런형질의단변량분 석을실시하여어떻게대상분류군간차이가있는지추적 하는데도움을주는분석방법이다

.

실제로 다변량분석에서사용되는변량은

20

여개이상

이고

,

각분석대상군별개체수는최소

40-50

개일경우가

보다객관적자료분석에도움을주는데많은연구논문 들은 이런개체수나변량수에대해너무과소평가해서 연구를시도하는경우가많다

.

또한

,

비율로이용되는형 질들은 자료변환을시도하여정규분포상태에서분석할 필요가있으며

,

정성적형질은주성분분석에서사용하지 않는것이바람직하다

.

유집혹은군집분석의경우에는자료를강제로유집시 키는성향이강하며

,

통계적기법이아니고단순히분석 방법이나알고리즘에따라결과가판이하게차이를보이 기때문에 유전적거리나 기타확실한거리 계산법으로 환원된분석이아니면이분석방법을사용하는것은자 제해야한다

.

생물자료의통계분석에서는가설의설정과이에대한 검정

,

개체수에대한개념

,

그리고통계분석의가정을위

반하지 않으면서 분석하고자 하는 기본 개념 정리가 중요 하며 각 분석 방법론에 대한 장단점 파악도 중요하다.

감사의 글

본 연구는 산림청 “산림과학기술개발사업(과제번호:

S210707L1010)”의 지원에 의하여 이루어진 것입니다.

인용문헌

1. Ahn, Y.S., Kim, S.H., Jung, H.K., Jang, Y.S., Choi, Y.C., and Oh, K.I. 2002. The variation of leaf characters among natural populations of Kalopanax septemlobus Koidz. Jour- nal of Korean Forestry Society 91(6): 755-764 (in Korean).

2. Cho, S.K., Choi, B.H., and Kim, J.H. 1997. Morphologi- cal variations and taxonomy of Indigofera kirilowii and I.

koreana (Leguminosae). Korean Journal of Plant Taxon- omy 27(1): 73-87 (in Korean).

3. Chung, K.H. 1999. Morphological characteristics and princi- pal component analysis of plums. Korean Journal of Hor- ticultural Science & Technology 17(1): 23-28 (in Korean).

4. Henderson, A. 2006. Traditional morphometrics in plant systematics and its role in palm systematics. Botanical Journal of the Linnean Society 151(1): 103-111.

5. Hwang, S.H., Park, S.J., and Kim, J.H. 2007. A numeri- cal taxomony of Korean Ilex (Aquifoliaceae). Korean Journal of Plant Taxonomy 37(4): 401-418 (in Korean).

6. Jang, D.H., Suh, S.J., Baek, S.B., Kim, J.G., and Nam, J.H. 2001. Efficiency of morphological traits and DNA markers in classification of Korean barley cultivars. Korean Journal of Breeding 33(4): 300-305(in Korean).

7. Jang, Y.S. Lee, M.H. and Lee, B.S. 2006. Flower morpho- logical characteristics and classification of genus Cratae- gus. Korean Journal of Apiculture 21(1): 11-18 (in Korea).

8. James, F.C., and McCulloch, C.E. 1990. Multivariate analysis in ecology and systematics: Panacea or pan- dora's box? Annual Review of Ecological System 21:

129-166.

9. Kim, C.S., Moon, M.O., Cheong, E.J., and Byun, G.O.

2005. Evaluation of leaf morphology for distinguishing Prunus (Rosaceae) from Jeju, Korea. Korean Journal of Plant Taxonomy 35(2): 81-98 (in Korean).

10. Kim, C.Y., Pyon, J.Y. and Lee J.H. 1999. Variation of characteristics and principal component analysis of col- lected colored rice cultivars. Korean Journal of Plant Resources 12(3): 186-191 (in Korean).

11. Kim, J.H., Jang, W.S., Kyung, H.Y., Xuan, Y., Davaasuren, Y.E., Sim, E.J., Lee, J.K.,Choi, Y.S., Hiramatsu, M., Kim, K.W and Yoo, K.O. 2006. A Principal Component Analysis for the Morphological Characters of Diploid and Triploid Populations of Lilium lancifolium in Korea. Korean Journal of Plant Resources 19(2): 300-307 (in Korean).

12. Kim, N.Y., Kim, H.S., Kim, S.Y., and Park, W.G. 2006.

Studies on morphological variation among provenances of a rare Rhododendron micranthum in Korea. Journal of Korean Forestry Society 95(1): 55-59 (in Korean).

13. Kim, S.H., Jang, Y.S., Chung, H.G., Park, H.S., and Cho, K.J. 2003. Leaf morphological characteristics of Sorbus commixta Hedl. Selected populations. Journal of Korean Forestry Society 92(5): 488-496 (in Korean).

14. Kim, S.H., Jang, Y.S., Han, J.G., Seo, H.W., Park, I.H., and Cho K.J. 2007. Leaf characteristics and genetic rela- tionships analysis among four species in the genus Sor- bus . Korean Journal of Breeding 39(4): 427-434 (in Korean).

15. Kim, S.T., Kim, M.H., and Park, C.W. 2000. A system- atic study on Fallopia section Fallopia (Polygonaceae).

Korean Journal of Plant Taxonomy 30(1): 35-54 (in Korean).

16. Koo, Y.B., Kim, I.S., Y.K., Yeo J.K., Lee, J.C., and Tak, W.S. 2001. Characteristics of Korean aspen ( Populus davidiana Dode) progenies from artificial mating. Korean Journal of Breeding 33(4): 311-317 (in Korean).

17. Lee, I.S., and Park, J.O. 2003. Assessment and classifica- tion of Korean indigenous corn lines by application of principal component analysis. Journal of Life Science 13(3): 343-348 (in Korean).

18. Lee, J.K. 2002. Morphological variation of Perilla crop and weedy collections in Korea. Korean Journal of Breed- ing 34(1): 27-36 (in Korean).

19. Lee, S.R. and Park, J.O. 2007. Systematie study on the Aconitum alboviolaccum complex (Ranunculaceae) in Korea Journal of Plant Taxonomy 37(1): 477-502 (in Korea).

20. Park, H.S., Lee, U., and Jung, M.S. 2008. Classification of Chionanthus retusa for flower morphological charac- teristics. Korean Journal of Apiculture 23(2): 133-137 (in Korean).

21. Park, S.H., Lee, J.K., and Kim, J.H. 2007. A morphologi- cal study of Symplocaceae in Korea. Korean Journal of Plant Taxonomy 37(3): 255-273 (in Korean).

22. Song, J.H., Park, M.H., Moon, H.K., Han, S.U., and Yi, J.S. 2000. The variation of leaf form of natural popula- tions of Quercus variabilis in Korea. Journal of Korean Forestry Society 89(5): 666-676 (in Korean).

23. Song, M.J., and Kim, H. 2005. Taxonomic identities of Cirsium setidens , C. chanroenicum and C. toraiense.

Korean Journal of Plant Taxonomy 35(4): 227-245 (in Korean).

24. Song, M.J., and Kim, H. 2006. Numerical taxonomy of Cir- sium japonicum c omplex (Asteraceae) in Korea. Korean Jour- nal of Plant Taxonomy 36(4): 279-292 (in Korean).

25. Song, M.J., and Kim, H. 2007. Taxonomic study on Cirsium Miller (Asteraceae) in Korea based on external morpholgy.

Korean Journal of Plant Taxonomy 37(1): 17-40 (in Korean).

26. Woo, K.S. 2003. Studies on the variation of needle, cone,

and seed characteristics related to the conservation of

genetic resources of Pinus densiflora for. multicaulis. Jour-

nal of Korean Forestry Society 92(1): 8-18 (in Korean).

27. Yoo, K.O., Kim, W.B., Park, H.J., Lim, S.C., Lee, M.C., and Jang, H.T. 1998. External morphology and numerical taxonomy among habitat of Allium victorialis var. platy- phyllum. Korean Journal of Plant Resources 11(2): 210- 216 (in Korean).

28. Yoo, K.O., Lee, W.T., and Oh, Y.J. 1999. External Mor- phology and vegetation of Megaleranthis saniculifolia

populations in four different habitats. Korean Journal of Plant Resources 12(4): 312-323 (in Korean).

29. Yoo, K.O., Lee, W.T., and Ryu, S.Y. 2000. External mor- phology and numerical taxonomy of Hanabusaya asiat- ica populations in different habitats. Korean Journal of Plant Resources 13(1): 80-88 (in Korean).

(2009년 4월 29일 접수; 2009년 6월 19일 채택)