투고일: 2013년 1월 5일, 심사일: 2013년 1월 7일, 게재확정일: 2013년 1월 8일 책임저자：오병모, 서울시 종로구 연건동 28
(110-744) 서울대학교 의과대학 재활의학교실 Tel: 02) 2072-1358, Fax: 02) 743-7473 E-mail: [email protected]
Copyrights ⓒ The Korean Dysphagia Society, 2013.
새로운 연하곤란 임상 척도의 개발과 타당도 평가
권찬혁1ㆍ정일영2ㆍ정세희3ㆍ오병모1ㆍ한태륜1
1서울대학교 의과대학 재활의학교실, 2예산군 보건소, 3서울특별시보라매병원 재활의학과
Development and Validation of a New Screening Test for Dysphagia
Chan-Hyuk Kwon, M.D.1, Il-Young Jung, M.D.2, Se Hee Jung, M.D., Ph.D.3, Byung-Mo Oh, M.D., Ph.D.1, Tai Ryoon Han, M.D., Ph.D.1
1Department of Rehabilitation Medicine, Seoul National University College of Medicine, Seoul, 2Yesan County Health Center, Chungnam, 3Department of Rehabilitation Medicine, Seoul National University Boramae Medical Center, Seoul, Korea
Objective: To develop a new screening test for dysphagia patients with various etiologies.
Method: We investigated 10 widely used screening tests based on previous studies. Contents of the screening tests were summarized into 76 items. By using modified Delphi technique, 23 items showing high average score (＞3.5) were selected as candidates for the new Clinical Dysphagia Scale (nCDS). A total of 216 dysphagia patients with various etiologies were tested with these items and underwent videofluoroscopic swallowing study (VFSS) simulta- neously. We analyzed these data in statistical and clinical aspects to determine which items were more correlated with VFSS findings and which items are more appropriate for the screening test. Content validity was re-evaluated by consensus in an expert meeting. Consequentially, 8 items were selected for the nCDS.
Result: The nCDS included 8 items: swallowing difficulty, structural defect (oral cavity, pharynx, larynx, or esoph- agus), lip sealing, tongue movement (forward and side to side), saliva swallowing, wet voice or gurgling voice (pre-swallowing), 5 ml water swallowing test (2 times), and laryngeal elevation during swallowing. The sensitivity and specificity of the nCDS score for detecting necessity of food modification were 83.8% and 58.3%, respectively.
It was also well correlated with the functional dysphagia scale derived from the VFSS (Pearson's coefficient 0.525, P
＜0.01).
Conclusion: The nCDS is not only a good screening test for detecting necessity of food modification, but also a good diagnostic tool for evaluation of general swallowing function. Furthermore, it is simply applicable to dysphagic patients with various etiologies. (JKDS 2013;3:20-25)
Keywords: Deglutition disorders, Symptom assessment, Sensitivity, Specificity
서론
연하 과정은 음식물을 인지하고 입안으로 가져간 후 구
강으로부터 인두와 식도를 거쳐 위까지 보내는 정교하고 복 잡한 작업으로1,2, 이 일련의 경로가 다양한 원인에 의하여 침범되면 연하장애가 발생할 수 있다. 조절되지 않은 연하
Table 1. Demographic factors.
Patient characteristics (n=216) Age (yr)
Sex (M/F), n (%) ASHA NOMS VDS
64.41±14.45*
138/78 (63.9/36.1) 4.13±1.94*
35.85±15.72*
ASHA NOMS: The American Speech-Language-Hearing Associa- tion National Outcome Measurement System swallowing scale, VDS: videofluoroscopic dysphagia scale.
*Mean±SD. Fig. 1. Cause of dysphagia.
장애는 흡인성 폐렴, 영양 실조, 탈수 등의 합병증을 초래할 수 있으므로3-5 많은 연구자들이 조기에 환자의 연하기능을 평가하고 적절한 개입을 하기 위해 연하장애 선별검사 개발 을 지속해 왔다6. 그러나 과거 개발되었던 선별 검사들은 검사의 민감도 혹은 특이도에 있어 근거가 부족한 경우가 많았고 실제 연하장애의 정도를 추정할 수 있는 임상 검사 로서의 역할이 제한되었다7-13. 최근에 개발되어 사용되고 있는 선별 검사들은 이러한 문제들을 일부 극복하였으나 초 보자가 사용하기에는 너무 복잡하여 임상에 널리 적용하기 에는 한계가 있다14,15. Han 등16,17이 개발한 연하곤란 임상 척도(clinical dysphagia scale)의 경우 높은 민감도와 특 이도를 가지면서도 비디오 투시 연하곤란 척도(videoflu- oroscopic dysphagia scale)와 잘 부합하는 훌륭한 선별검 사이지만 개발 과정에서 뇌졸중 환자만을 대상으로 하였기 에 다양한 원인의 연하곤란 환자에게 모두 적용하기는 어렵 다16,18.
이에 본 연구에서는 다양한 원인의 연하장애 환자를 대 상으로 하여 쉽고 편리한 새로운 연하장애 임상 척도를 개 발하고자 하였다.
대상 및 방법 1. 연구 대상
2012년 동안 서울대학교병원 재활의학과에서 연하장애의 평가를 위하여 비디오 투시 연하 검사를 실시한 환자 중 본 연구에 대한 참여에 동의한 사람을 대상으로 연구를 진행하 였다. 심한 인지기능의 장애로 인하여 검사에 대한 협조가 불가능한 경우는 제외하였다. 총 216명이 참여하였고 연령 의 평균은 64.41±14.45세이었으며 연하곤란의 중증도는 치 우쳐 있지 않음을 확인하였다.(Table 1) 다양한 원인의 연하 장애 환자들을 대상으로 하였고 그 원인은 뇌질환(55.5%)이 가장 많았고 상태악화(deconditioning) (14.4%)가 뒤를 이
었다.(Fig. 1) 2. 연구 방법
1) 새로운 연하곤란 임상 척도의 예비 문항 도출
문헌 검색을 통하여 출판된 10개의 선별 검사를 이용하 여7-16 총 76개의 연하장애에 대한 이학적 검사 항목을 추출 하였다. 이들 76개의 항목들 중에서 수정된 델파이 기법을19 사용하여 새로운 연하곤란 임상 척도에 대한 예비 문항을 도출하였다. 연하곤란 환자를 5년 이상 진료한 10인의 재 활의학과 전문의들에게 추출된 76문항을 전자 우편을 통하 여 발송하였고 각 문항의 중요도를 1점은 ‘전혀 중요하지 않다’, 2점은 ‘중요하지 않다’, 3점은 ‘보통이다’, 4점은 ‘중요 하다’, 5점은 ‘매우 중요하다’로 평가하도록 하였다. 일차 평 가 후 각 전문가들의 의견을 공개하여 서로의 의견을 열람 할 수 있도록 하였고 점수를 수정할 수 있는 기회를 부여하 였다. 최종적으로 전문가들 사이에서 공통적으로 높은 점 수(3.5점 이상)를 획득한 23개 항목을 새로운 연하곤란 임 상 척도의 일차 예비 문항으로 결정하였다.
2) 새로운 연하곤란 임상 척도의 세부 항목 선정
연구의 참여자를 대상으로 비디오 투시 연하 검사와 선 별된 23개 예비 항목에 대한 평가를 동시에 진행하였다.
비디오 투시 연하 검사에서 흡인의 유무를 평가하는 동시에 미국 언어 청각 협회 연하 척도(The American Spee- ch-Language-Hearing Association National Outcome Measurement System swallowing scale)와20 비디오 투 시 연하 검사 척도를 구하였다. 흡인의 증거와 이들 두 척
Fig. 2. Item selection procedure of new clinical dysphagia scale.
Table 2. New clinical dysphagia scale.
Items Score
Swallowing difficulty*
Structural defect*
Lip sealing† Tongue movement Saliva swallowing
Wet voice or grunting sound (pre-swallowing)
5 ml water swallowing test‡ Laryngeal elevation§
Total
Absent: 0, present: 1 Absent: 0, present: 1
Intact: 0, inadequate or none: 1 Intact: 0, inadequate or none: 1 Intact: 0, inadequate or none: 1 Absent: 0, present or fail to
phonate: 1 Pass: 0, fail: 1
Intact: 0, inadequate or none: 1 8
*History taking and inspection, †Check puffing out the patient’s cheeks, ‡In case of equivocal result, repeat one more time,
§Check patient’s thyroid cartilage passing index finger of inspector briskly.
도에 대한 예비 항목들의 관계를 통계학적 방법으로 살펴 보아 가장 유효할 것으로 예상되는 항목의 조합을 도출하였 고 최종적으로 통계 전문가의 의견을 참조하여 연하곤란 전 문가 집단의 합의를 통하여 새로운 연하곤란 임상 척도의 세부 항목을 확정하였다.(Fig. 2)
3) 자료 분석
통계 분석에는 SPSS version 18.0 (Chicago, IL, USA) 을 사용하였다. 수정된 델파이 기법을 이용해 얻어진 각 항 목의 점수는 평균을 구하여 비교하였다. 예비 항목들은 요 인 분석(factor analysis)을 통하여 평가가 기대한 대로 이 루어졌는지 확인하였고 독립 표본 t-검정을 실시하여 각 항 목의 결과에 따른 비디오 투시 연하 검사 척도 점수에 차이 가 있는지 확인하였다. 검사의 민감도와 특이도는 확인하 고자 하는 지표에 대한 ROC 곡선을 그려 산출하였다. 검사 의 타당도는 새로운 연하곤란 임상 척도의 총점과 비디오 투시 연하 검사 척도의 총점과의 피어슨(Pearson) 상관 계 수를 구하여 판단하였다. 대상 수가 20명 이하인 경우는 스피어만(Spearman) 상관 계수를 이용하였다.
결과
1. 새로운 연하장애 척도
새로운 연하장애 척도는 최종적으로 8항목으로 구성되 었다.(Table 2) “삼키기 어려움(swallowing difficulty)”
항목은 검사자가 환자 혹은 간병인에게 직접 질문하여 어려 움이 있다면 1점, 없으면 0점으로 하였다. “구조적 결함 (structural defect)” 항목은 수술력을 확인하여 구강이나 인두, 후도 혹은 식도의 구조적인 변화가 있는지를 기록하 게 하였고 결함이 있다면 1점, 없다면 0점으로 하였다. “입 술 붙이기(lip sealing)” 항목은 입술을 붙이고 볼을 부풀릴
수 있으면 0점, 둘 중 하나만 되거나 아무 것도 되지 않으면 1점으로 하였다. “혀의 움직임(tongue movement)” 항목 은 입술 밖으로 혀가 나와서 좌우로 빠르게 5회 움직일 수 있으면 0점, 혀 끝이 입술 밖으로 나오지 않거나 움직임이 저하되어 있는 경우 1점으로 하였다. “침 삼키기(saliva swallowing)” 항목은 검사자의 지시에 따라 침을 삼킬 수 있으면 0점, 삼킬 수 없거나 반응이 매우 지연되어 있으면 1점으로 하였다. “젖은 목소리 혹은 그렁거리는 소리(wet voice or grunting sound)” 항목은 피검사자로 하여금
“우” 또는 “이” 소리를 내게 하여 발성 자체가 되지 않는 경우나 성대가 물에 젖은 듯한 소리, 그렁거리는 소리가 있 을 경우 1점, 그렇지 않을 경우 0점으로 하였다. “5 ml 물 삼키기 검사(5 ml water swallowing test)” 항목은 피검사 자에게 물 5 ml를 삼키게 한 후 평가한다. “우” 또는 “이”
소리를 내게 하여 목소리를 낼 수 없거나 성대가 젖은 듯한 목소리, 혹은 그렁거리는 소리가 나면 1점, 특이 소견 없이 발성을 하면 0점으로 하였다. 연하가 일어난 뒤 기침 혹은 가래 끓는 소리(throat clearing)가 발생하거나 목 메임이 나 호흡 곤란 증상이 있으면 역시 1점으로 판정하였고 소견 이 불명확하다고 생각되는 경우 1회 더 시행하도록 하였다.
“후두 거상(laryngeal elevation)”항목은 연하가 일어나는 동안 검사자의 검지를 피검사자의 갑상 연골의 상부 경계에 접촉시켜 그것이 검지를 한 번에 넘어가면 0점, 매우 지연 되어 있거나 한 번에 넘어가지 못하는 경우를 1점으로 하였 다. 상기의 8개 항목을 측정하여 이상 소견이 없는 정상 상태일 경우 0점, 모든 항목에서 이상을 보일 경우 8점이 되도록 하였다.
Table 3. Sensitivity, specificity and positive predictive value of new clinical dysphagia scale.
Cut off value
1 2 3 4 5 6 7 8
For food modification Sensitivity (%) Specificity (%) PPV (%) For aspiration Sensitivity (%) Specificity (%) PPV (%)
98.4 20.8 90.86 100 6.5 43.26
83.8 62.5 94.70 90.0 29.8 47.65
59.7 83.3 96.63 72.2 58.1 54.62
33.0 95.8 98.46 41.1 79.0 56.92
18.3 95.8 97.14 27.8 92.7 71.42
8.4 100 100 13.3 96.8 75
2.1 100 100 4.4 100 100
0 100 100 0 100 100 PPV: positive predictive value.
Table 4. Validity of new clinical dysphagia scale.
Etiology
nCDS VDS
N Mean±SD Mean±SD CC
Stroke*
Brain tumor*
Traumatic brain injury*
Other brain disorders*
Local structural lesions*
Deconditioning*
Neurodegenerative diseases*
NMJ disorders or myopathy PNS disorders*
Spinal cord injury*
Unknown Total*
72 15 20 13 14 31 22 4 11 10 4 216
2.78±1.62 2.33±1.50 3.00±1.59 6.00±2.69 5.14±1.17 2.94±1.50 2.77±1.23 1.50±0.58 2.81±1.08 2.20±1.40 2.00±1.15 2.86±1.60
32.89±15.34 32.97±12.15 38.93±17.72 35.31±16.55 44.21±18.08 39.00±14.90 36.97±13.16 48.05±15.04 37.68±20.64 33.50±11.70 27.87±23.72 35.85±15.72
0.509 0.534† 0.589 0.646† 0.536† 0.598 0.431 0.894† 0.403† 0.767† 0.447† 0.525 VDS: videofluoroscopic dysphagia scale, CC: correlation coefficient, NMJ: neuromuscular junction, PNS: peripheral nervous system.
*P＜0.05, †Spearman’s rho.
2. 민감도와 특이도
새로운 연하곤란 임상 척도의 민감도와 특이도는 두 가 지 범주에서 구하였다.(Table 3) 식이 조절 필요 여부, 즉 미국 언어 청각 협회 연하 척도의 점수가 7점 미만일 것을 대상으로 하였을 때는 절삭점수(cut off value)를 2점으로 하였을 때 85.0%의 민감도와 64.0%의 특이도를 보였다.
비디오 투시 연하 검사상 흡인 여부를 기준으로 하였을 때 는 절삭 점수를 2점으로 하였을 때 민감도와 특이도가 각각 90.1%와 27.9%이었다. 식이 조절에 대한 양성 예측도는 6점 이상일 때 100%이었고 흡인 여부에 대한 양성 예측도 는 7점 이상일 때 100%이었다.
3. 타당도
새로운 연하곤란 임상 척도의 총점과 비디오 투시 연하 검사 척도의 피어슨 상관 계수는 0.525로 이전의 연하곤란 임상 척도와 비슷하였다.(Table 4) 이는 상당한 수준의 상 관 관계를 나타내는 수치로21 환자의 실제 연하 기능을 어 느 정도 추정할 수 있었다. 연하장애의 원인별로 나누어 상 관 관계를 살펴 보았을 때도 비슷한 수준의 상관 관계가 관찰되었으나 일부에서는 통계적 유의미성을 확보할 수 없 었다.
고찰
본 연구의 목적은 임상에서 쉽게 적용할 수 있으면서도 연하곤란의 중증도를 일부 예측할 수 있는 선별 검사의 개 발이었다. 새로운 연하곤란 임상 척도는 이전의 검사들과 비슷한 민감도/특이도를 보이면서도 연하곤란의 중증도와 상당한 수준으로 부합하였고 항목의 수나 선택지에 있어서 도 복잡하지 않아 이를 잘 충족한 것으로 생각된다.
연하장애의 전체 발생률은 정확하게 알려져 있지 않지만 특히 노인에게는 뇌졸중, 치매와 같은 여러 가지 질환에 노 출될 확률이 높으므로 나이가 증가할수록 발생률이 더 높아 질 것으로 생각된다. 이전 연구에서도 노인에게서 저작을 포함한 구강기 기능 저하, 식도 연동 운동의 감소, 흡기 중 연하 반사 유발 빈도의 증가가 보고되었고, 각 연하 시기에 소요되는 시간은 연령에 따라 증가하였으며 각 연하 시기의 시작은 지연되어 있었다22,23. 정상인을 대상으로 한 비디오 투시 연하 검사 연구에 의하면 후두 침투(laryngeal penetration)의 발생 빈도 역시 50세 이상에서는 16.8%로 50세 이전의 7.4%보다 유의미하게 증가되어 있었다24. 연 하장애는 흡인성 폐렴, 영양 실조, 탈수 등의 합병증을 초래 하여 때로는 치명적인 상태에 이르므로 최근의 인구 고령화 추세를 고려할 때 적절한 연하장애에 대한 선별 검사와 빠 른 개입은 의료에 대한 사회 비용의 절감에도 크게 기여할 것으로 사료된다.
연하장애에 대한 선별 검사는 흡인성 폐렴의 발생 빈도 를 유의미하게 감소킬 것으로 기대되므로25 많은 연구자들 이 조기에 연하장애를 발견할 수 있는 임상 척도를 개발하 기 위해 노력해 왔다. 그러나 이전의 문헌 연구에서 어떤 선별 검사도 그 유용성을 증명해 내지 못한 것으로26 볼 때 어느 검사도 보편적으로 인정되는 결과물을 제시하지 못 한 실정이다. 과거 개발된 Burke Dysphagia Screening Test 와 같은 선별 검사들은 연하곤란의 중증도를 반영하기 어려 워 임상에서 적용하기에 제한이 있었고7-13 비교적 최근에 개발된 Gugging Swallowing Screen의 경우 비디오 투시 연하 검사 척도와의 유의미한 상관 관계가 보고되어 있으나
27 검사에 필요한 식이 등 준비물이 많아 검사 시간이 오래 걸리는 단점이 있고 급성기 뇌졸중 환자를 대상으로 개발되 었기에 모든 환자에게 적용하기는 제한이 있다. Han 등16 이 2001년에 보고한 연하곤란 임상 척도는 침상에서 쉽게 시행이 가능하면서 비디오 투시 연하장애 척도17와 높은 상 관관계를 보여 연하 기능의 예측까지도 가능한 훌륭한 선별 검사이다18. 개발 당시 흡인에 대한 민감도와 특이도가 각 각 100%이었고 이후 시행된 연구에서 비디오 투시 연하장
애 척도와 유의미한 양의 상관관계가 보임이 확인되었지만 이 역시 뇌졸중 환자만을 대상으로 개발되었기에 다양한 원 인의 연하장애 환자에게 적용하기가 어렵다는 한계가 있었 다. 또 후속 연구에서 일부 문항에 대한 급내 상관 계수 (intraclass correlation coefficient)가 기대치에 미치지 못 하여 수정에 대한 요구가 대두되었다.
이번에 개발된 새로운 연하곤란 임상 척도의 특이도와 민감도, 비디오 투시 연하장애 척도와의 상관 계수는 Han 등이 개발한 연하곤란 임상 척도와 비슷한 수준이었다. 그 러나 새로운 연하곤란 임상 척도는 이전과 비교하였을 때 항목의 선택지를 두 가지로 간소화하였고 5 cc의 물 이외에 는 준비물이 필요 없도록 하였으며 각 항목에 가중치를 따 로 두지 않아 검사자가 새로운 연하곤란 임상 척도의 점수 를 통하여 통과 혹은 실패한 항목의 숫자를 직관적으로 파 악할 수 있게 하였다. 이전의 선별 검사들이 대부분 뇌졸중 환자들만을 대상으로 하여 개발된 것에 비하여 새로운 연하 곤란 임상 척도는 다양한 원인의 연하곤란 환자들을 대상으 로 함으로써 연하곤란을 겪고 있는 모든 환자에게 적용할 근거를 갖추었다. 각 항목의 내용면에 있어서도 정상과 비 정상의 기준을 명시함으로써 검사자 간에 혼선이 없도록 하 였다. 따라서 임상에서 간단하게 사용하는데 있어 새로운 연하곤란 임상 척도가 이전의 척도보다 우월할 것으로 예상 된다.
본 연구에서 분석에 사용한 대상 수는 216명으로 각종 통계 검사의 유의성 확보에 충분하였다고 생각된다. 하지 만 병인에 따른 하위 그룹으로 나누어 새로운 연하곤란 임 상 척도의 타당도를 검증하였을 때 일부 병인(신경-근 접합 부 질환 혹은 근육병, 원인 불명)에서 통계적 유의미성을 확보하지 못한 것은 해당 질환 대상 수의 부족으로 사료된 다. 이는 연구의 제한점으로 생각되지만 후속 연구를 통하 여 해당 질환의 대상 수가 충분히 확보된다면 극복 가능할 것이다.
결론
새로운 연하곤란 임상 척도는 비디오 투시 연하 검사 소 견을 잘 반영하면서도 적용이 간편한 임상 척도로서, 다양 한 원인 질환에 의한 연하곤란의 선별 진단과 연하 기능 평가에 사용할 수 있다. 또한 새로운 연하곤란 임상 척도는 식이 조절의 필요성이나 흡인 발생 여부를 아주 훌륭하게 예측할 수 있는 지표이다. 후속 연구로는 서로 다른 검사자 가 시행한 척도의 결과에 대하여 급내 상관 계수를 구하여 신뢰도를 확보하여야 할 것이며 높은 신뢰도가 담보된다면
새로운 연하곤란 임상 척도는 임상에서 뿐만 아니라 연구에 사용하는 결과 지표로서도 널리 사용할 수 있을 것으로 기 대한다.
감사의 글
본 논문은 2012년 대한연하장애학회 대상 연구지원비를 받아 수행하였음.
REFERENCES
1. Cook IJ, Dodds WJ, Dantas RO, Kern MK, Massey BT, Shaker R, et al. Timing of videofluoroscopic, manometric events, and bolus transit during the oral and pharyngeal phases of swallowing. Dysphagia. 1989;4:8-15.
2. Perlman A, Palmer P, McCulloch T, Vandaele D. Electro- myographic activity from human laryngeal, pharyngeal, and submental muscles during swallowing. J Appl Physiol. 1999;86:1663-9.
3. Teasell R, Foley N, Fisher J, Finestone H. The incidence, management, and complications of dysphagia in patients with medullary strokes admitted to a rehabilitation unit.
Dysphagia. 2002;17:115-20.
4. Teasell RW, Foley NC, Bhogal SK, Speechley MR. An evidence-based review of stroke rehabilitation. Top Stroke Rehabil. 2003;10:29-58.
5. Gariballa S, Sinclair A. Assessment and treatment of nu- tritional status in stroke patients. Postgrad Med J. 1998;
74:395-9.
6. Splaingard M, Hutchins B, Sulton L, Chaudhuri G. Aspi- ration in rehabilitation patients: videofluoroscopy vs bed- side clinical assessment. Arch Phys Med Rehabil. 1988;
69:637-40.
7. Smithard DG, O'neill PA, Park C, England R, Renwick DS, Wyatt R, et al. Can bedside assessment reliably ex- clude aspiration following acute stroke? Age Ageing.
1998;27:99-106.
8. DePippo KL, Holas MA, Reding MJ. The Burke dyspha- gia screening test: validation of its use in patients with stroke. Arch Phys Med Rehabil. 1994;75:1284-6.
9. Hinds N, Wiles C. Assessment of swallowing and referral to speech and language therapists in acute stroke. QJM.
1998;91:829-35.
10. Massey R, Jedlicka D. The Massey bedside swallowing screen. J Neurosci Nurs. 2002;34:252-60.
11. Nishiwaki K, Tsuji T, Liu M, Hase K, Tanaka N, Fujiwara T. Identification of a simple screening tool for dysphagia in patients with stroke using factor analysis of multiple dysphagia variables. J Rehabil Med. 2005;37:247-51.
12. Perry L. Screening swallowing function of patients with
acute stroke. part one: Identification, implementation and initial evaluation of a screening tool for use by nurses. J Clin Nurs. 2001;10:463-73.
13. Kidd D, Lawson J, Nesbitt R, MacMahon J. Aspiration in acute stroke: a clinical study with videofluoroscopy.
QJM. 1993;86:825-9.
14. Trapl M, Enderle P, Nowotny M, Teuschl Y, Matz K, Dachenhausen A, et al. Dysphagia bedside screening for acute-stroke patients the gugging swallowing screen.
Stroke. 2007;38:2948-52.
15. Martino R, Silver F, Teasell R, Bayley M, Nicholson G, Streiner DL, et al. The toronto bedside swallowing scree- ning test (TOR-BSST) development and validation of a dysphagia screening tool for patients with stroke. Stroke.
2009;40:555-61.
16. Han TR, Paik NJ, Park JW. The clinical functional scale for dysphagia in stroke patients. Korean J Stroke. 2001;
3:153-7.
17. Han TR, Paik NJ, Park JW, Kwon BS. The prediction of persistent dysphagia beyond six months after stroke.
Dysphagia. 2008;23:59-64.
18. Jung SH, Lee KJ, Hong JB, Han TR. Validation of clinical dysphagia scale: based on videofluoroscopic swallowing study. Ann Rehabil Med. 2005;29:343-50.
19. Custer RL, Scarcella JA, Stewart BR. The modified Delphi technique-A rotational modification. JVTE. 1999;15:1-10.
20. American Speech-Language-Hearing Association National Outcomes Measurement System: adults speech-language pathology user's guide. 2003.
21. DeVellis RF. Scale development: theory and applica- tions. New York: Sage Publications, 1999.
22. Nicosia MA, Hind JA, Roecker EB, Carnes M, Doyle J, Dengel GA, et al. Age effects on the temporal evolution of isometric and swallowing pressure. J Gerontol A Biol Sci Med Sci. 2000;55:M634-40.
23. Robbins J, Hamilton J, Lof G, Kempster G. Oropharyn- geal swallowing in normal adults of different ages.
Gastroenterology. 1992;103:823-9.
24. Daggett A, Logemann J, Rademaker A, Pauloski B.
Laryngeal penetration during deglutition in normal sub- jects of various ages. Dysphagia. 2006;21:270-4.
25. Yeh SJ, Huang KY, Wang TG, Chen YC, Chen CH, Tang SC, et al. Dysphagia screening decreases pneumonia in acute stroke patients admitted to the stroke intensive care unit. J Neurol Sci. 2011;306:38-41.
26. Martino R, Pron G, Diamant N. Screening for orophar- yngeal dysphagia in stroke: insufficient evidence for guidelines. Dysphagia. 2000;15:19-30.
27. Song WW, Yi SH, Kim EJ, Kim HN, Park JJ, Choi KI, et al. Validation of gugging swallowing screen for patients with stroke based on videofluoroscopic swallowing study.
Ann Rehabil Med. 2009;33:704-10.
