< 연구결과 요약 >

< 연구결과 요약 >

과 제 명 귀로 듣는 소리는 아듀(Adieu). 아두이노(Arduino)로 소리체험의 한계를 넘자.

연구목표

소리의 특성을 분석하고 소리와 진동, 빛의 연관성에 대해 탐구한다.

▪아두이노를 활용하여 박자를 진동의 형태로 표현하여 교육할 수 있는 장치를 만든다.

▪아두이노를 활용하여 우리가 들을 수 있는 소리의 음을 빛으로 구현한다.

▪아두이노를 활용하여 음의 높낮이를 구분하여 교육할 수 있는 피아노 교육 장치를 만든다.

연구방법

탐구 1. 청각장애인의 음악을 교육하는 본교의 특수교육 선생님의 자문을 구하고, 청각장애인에게 실질적으로 필요한 음악 교육이 무엇인지를 알아본다.

탐구 2. 마이크로 폰과 MBL을 이용하여 악기(관악기와 현악기)의 파형을 알아보고 분석한다.

탐구 3. 진동 센서의 세기의 정도를 간단한 코드를 짜서 알아본다.

탐구 4. Flexible LED Matrix를 이용하여 음의 진동수를 분해하여 보여줄 수 있도록 하다.

탐구 5. 아두이노를 이용하여 음의 높낮이를 교육할 수 있는 피아노를 만든다.

연구성과

탐구 1. 청각장애인은 대부분 난청이라 보청기를 끼는 경우도 많고, 인공 와우 이식술로 수술 을 하는 경우도 많지만 소리를 들을 때 음의 높낮이를 구분 못하는 경우가 많고 교육하 기 어렵기 때문에 이 부분을 교육용 장치로 만들면 좋겠다는 의견을 제시하여 주심.

탐구 2. 파형은 고조파 성분에 따라서 결정되며, 고조파 성분이 많으면 파형에는 미세한 기복 이나 날카로운 커브가 나타나고, 고조파 성분이 적으면 파형은 원을 그리듯이 길게 늘어 난다. 실험을 통해 확인한 악기별 파형을 봤을 때 상대적으로 가장 고조파 성분이 적은 소리는 오카리나이고 그 외의 악기들은 날카로운 커브가 일어나 고조파 성분이 많은 것 을 알 수 있다.

탐구 3. 반구에 아이클레이를 덧떼고, 진동판과 아두이노를 연결해 2/4, 3/4, 4/4, 6/8, 12/8박자 에 따라 진동하도록 했다.

탐구4. 음악을 입력 시켰을 때, 63Hz, 160Hz, 400Hz, 1kHz, 2.5kHz, 6.25kHz, 16kHz의 진동수에 대한 Flexible LED Matrix - WS2812B (8x32 Pixel)에 LED가 들어오도록 하였다.

탐구5. 하드보드지와 스티로폼을 이용하여 피아노 모양을 만든 후, 다음 사진과 같이 스위치를 붙여 해당 소리가 나게 하였고, 해당 건반을 눌렀을 때, 그 음에 대응하는 색이 LED에 나타나고, 반음 씩 올라갈 때마다 LED가 켜지는 수를 한 개씩 많게 하여 음의 높낮이를 쉽게 알 수 있게 하였다.

피아노 교육 장치 진동을 이용한 박자 교육 장치

(Key words)주요어

아두이노, 청각 장애인 음악 교육장치

1. 개요

□ 연구 동기 및 목적 ○ 연구 동기

영화 ‘홀랜드 오퍼스’를 보면 청각장애를 가진 아들에게 음악을 알려주기 위해 특수학교에 아들을 진학 시키고 소리를 빛으로 볼 수 있도록 하여 불빛음악회를 열어주는 장면이 나온다. 비틀즈와 존레논이 궁금하다는 청각장애인 아들을 위해 소리를 빛으로 바꾸어 멋진 음악회 로 만들어 보는 이로 하여금 감동을 주고 있다. 소리는 공기의 진동이 고막으로 전달되고 그것을 청세포가 뇌에 전달하게 된다. 이 공기의 진동 을 느낄 수 있다면 청세포가 아닌 피부의 감각기관을 통해서 소리를 인지할 수 있을 것이다. 또한 이 소리는 파동으로 특정 파장을 지니고 있다. 이것을 빛의 파장으로 바꾼다면 눈으로 볼 수 도 있을 것이다.

거창하고 비싼 음향장치나 악기가 없더라도 청각장애인이나 영유아들의 감각기관을 발달시키기 위한 재미있는 놀이기구를 아두이노를 이용하여 만들 수 있을 것이다.

<그림 4. 영화‘ 홀랜드 오퍼스’ 포스터>

○ 연구 목적

-목적 1 : 소리의 특성을 분석하고 소리와 진동, 빛의 연관성에 대해 탐구한다.

-목적 2 : 아두이노를 활용하여 박자를 진동의 형태로 표현하여 교육할 수 있는 기구를 만든다.

-목적 3 : 아두이노를 활용하여 우리가 들을 수 있는 소리 형태의 음을 빛으로 구현한다.

-목적 4 : 아두이노를 활용하여 음의 높낮이를 교육할 수 있는 피아노를 만든다.

□ 연구범위

○ 우리가 연구한 분야는 크게 아두이노와 청각훈련 이 두 가지로 나눌 수 있다. 먼저 아두이노는 보드에 장착된 마이크로 컨트롤러와 메모리를 이용하는 프로그래밍을 통해 하드웨어를 제어하는 소프트웨어를 탑재함 으로써 PC와 같은 장치 없이 다양한 기능을 구현할 수 있는 특징을 이용하 여 청각장애인들의 청각능력을 향상시킬 수 있는 작은 도구를 개발하려고 한다. 여기서는 LED판을 이용하여 음의 높낮이를 표현하는 등 아두이노 프로그램을 이용하여 다양한 장치를 사용하였다. 또한 이 연구를 진행하 기 위해서는 청각장애인들이 현재 실질적으로 받는, 필수적으로 받아야하 는 청각훈련의 종류나 진행과정 등에 대한 자료가 필요하기 때문에 우리는 그 주제에 관해서도 논문이나 전문가를 통해 연구를 진행하였다.

2. 연구 수행 내용

□ 이론적 배경 및 선행 연구 ○ 선행 연구

-아두이노

아두이노는 오픈소스/오픈하드웨어를 기반으로 하는 플랫폼이 다. 오픈 소스를 기반으로 하여 많은 하드웨어가 개발되어 있으 며, 많은 예제가 커뮤니티를 통해 공유된다는 점은 프로그래밍 에 익숙하지 않은 초보자 및 학생들이 사용하기 쉬우며 유연한 하드웨어/소프트웨어 통합 개발 환경이다. 아두이노 보드에 장 착된 마이크로 컨트롤러와 메모리를 이용하는 프로그래밍을 통 해 하드웨어를 제어하는 소프트웨어를 탑재함으로써 PC와 같은

장치 없이 다양한 기능을 구현할 수 있는, 사실상의 작은 컴퓨 터이다.

○ 아두이노의 동작 과정

- 아두이노의 동작 과정을 살펴보면, 아두이노와 센서, 모듈의 물 리적 연결, 소스코드 작성, 컴파일하여 아두이노에 업로드하는 과정을 거친다. 이러한 과정을 통해 아두이노는 다양한 센서(표 5)로부터 데이터를 수신/감지하고, 획득한 데이터를 활용하여 조명, 모터, 기타 작동기 등으로 주변 환경에 영향을 미칠 수 있다. 보드의 마이크로 컨트롤러는 아두이노 프로그래밍 언어 와 아두이노 개발 환경을 이용하여 프로그래밍 된다. 따라서 아두이노는 다수의 스위치나 센서로부터 값을 받아들여 LED나 모터와 같은 외부 전자 장치들을 통제함으로써 환경과 상호작 용이 가능한 물건을 만들어낼 수 있다.

센서의 종류 센서의 기능

CdS(황화카드뮴) 센서 조도를 측정하는 센서

Photo 센서 빛의 세기에 따라 ON/OFF되는 센서 습도 센서 습도를 측정하는 센서

자장 스위치 자석을 감지하는 센서 리미트 스위치 압력을 감지하는 센서

초음파 센서 물체간의 거리를 측정하는 센서 적외선 센서 검은색을 감지하는 센서

써미스터 온도를 측정하는 센서

마이크 외부 소리의 크기를 측정하는 센서 가속도 센서 속력을 감지하는 센서

자이로 센서 각 크기를 감지하는 센서 압력 센서 압력의 크기를 감지하는 센서

<표 1. 아두이노에 연결가능한 센서의 종류와 기능>

○ 아두이노 소스코드

- 프로그래밍을 한다는 것은 우리가 생각하고 구현하고자 하는 것을‘설계’하는 과정이다.‘설계’를 하기 위해서는 특별히 고 안된 프로그래밍 언어를 사용하여야 하는데, 프로그래언어로 작 성된 설계 결과물이‘소스코드’이며, 아두이노에서는 이 소스코 드를 ‘스케치’라고 한다.

아두이노의 스케치는 크게 setup()과 loop() 두 파트로 나뉘어 있 다. setup()에는 초기 설정을 작성하고, loop()에는 반복 실행되는 내용을 작성한다. 아두이노를 작동시키는 오픈소스 소프트웨어는 소스코드를 공개한 상태로 누구나 특별한 제한 없이 그 코드를 보고 사용할 수 있는 소프트웨어이다. <표 2>은 아두이노 스케치 의 기본 구조 및 기능이다.

structure variables functions

-if -if...else -for -while -continue

Comparison Operators -== (같다)

-!= (같지않다) -< (작다) -> (크다)

-<= (작거나 같다) ->= (크거나 같다)

-HIGH / LOW -INPUT / OUTPUT

-true / false

-int() -float()

Digital I/O -pinMode() -digitalWrite() -digitalRead()

Analog I/O

-analogReference() -analogRead()

-analogWrite() - PWM Time

-millis() -micros() -delay()

-delayMicroseconds

<표 2. 아두이노 스케치의 기본 구조 및 기능>

○ 스펙트럼 쉴드

스펙트럼 쉴드는 MSGEQ7 그래픽 이퀼라이저 디 스플레이 필터를 두개 탑재하고 있다. 이 두개의 IC는 스테레오 오디오 입력은 채널당 7개의 밴드 로 나눌수 있게 하여 주고 아두이노의 ADC를 통 해 채널의 amplitude를 읽을 수 있게 한다. 스테레 오 잭 두개를 장착하고 있고 한개는 스테레오 입력으로 다른 하 나는 pass-through 출력으로 사용되어 스펙트럼 쉴드 in-line을 오디오 소스와 스테레오 시스템에 연결할 수 있게 하여 준다. 사 운드 visuallizer, 음악에서의 패턴 검출, sound activation등의 마 이크로컨트롤러 프로젝트에 사용이 가능하다.

○ 소리는 물체의 떨림에 의해 생성되고 그 떨림이 공기의 압력을 변화 시킴으로서 전달된다. 소리는 음의 세기와 높이 그리고 음색에 따라 구분되고, 악기마다 구조나 재질에 의한 특징적인 배음 요소 때문에 다른 느낌을 줄 수 있다. 음의 세 가지 요소 중 첫 번째로 기본진동수를 들 수 있다. 기본진동수는 음파의 기본음이 가지는 기본 진동수에 의해 서 결정된다. 기본진동수로서의 12평균율의 진동수 비율을 보여주고 있다. 그리고 12평균율의 각 음계는 의 비율로 변화한다.

<그림3. 기본진동수(F0)로서의 12음계의 진동수 비율>

<그림4 . 진동수와 하모닉 관계>

○ 음색에 영향을 끼치는 하모닉 성분은 음파를 구성하는 고조파의 구성 상태에 따라서 다르게 느껴진다. 즉, 외형상으로 비슷한 악기라고 해도 고조파 배열과 크기가 다르면 두 악기는 서로 다른 음색을 가진다.

<그림5. 음계에서의 옥타브와 진동수 관계>

○ 음 높이에서 발견되는 중요한 성질 중 하나가 옥타브다. 옥타브사이의 진동수는 배수의 관계를 지니고 있다.

<그림6. 가청진동수와 가시진동수 대역사이의 진동수 매핑>

○ 색채와 소리는 물리적으로 공진, 증폭, 간섭, 상쇄 등의 파동의 속성을 공유하고 있고 도, 미 및 솔의 진동수 비율이 적색, 녹색 및 청색의 진동수 비율과 거의 일치한다. 그림 4를 통해 가시영역의진동수를 기본 진동수로서의 12평균율로 변환하는 진동수변환 공식을 유추할 수 있으 며, 또한 가시진동수 대역(390THz ∼ 750THz)은 거의 1 옥타브에 해당 되고. 가청진동수 대역(20Hz ∼ 20kHz)은 10 옥타브에 해당되므로 상호 대응관계를 찾을 수 있다.

<그림7. 기본진동수(F0)로서의 12음계의 진동수>

<그림8. 컬러이미지와 음의 대응관계>

○ 색은 색상, 명도, 채도에 따라, 소리는 음의 세기와 높이 그리고 음색 세 가지를 통해 구분이 가능한데, 색-음 변환은 이미지의 색상, 명도, 및 채도를 소리의 피치, 옥타브 및 음색(하모닉 요소)에 각각 대응시킨다.

○ 청능훈련은 장애 학생이 가지고 있는 잔존 청력을 최대한 활용하여 상대방의 말을 통한 언어적 정보를 수용할 수 있게 하는 것이고 이를 구체적으로 하면 다음과 같이 분류할 수 있다.

기 능 기 술

음의 지각 기능

- 저진동수 소리의 유무 지각하기 - 중진동수 소리의 유무 지각하기 - 고진동수 소리의 유무 지각하기

음의 변별 기능

- 저진동수 소리 변별하기 - 중진동수 소리 변별하기 - 고진동수 소리 변별하기

말(단어)의 변별 기능

- 초분절적 자질 변별하기 기능 - 독립음 변별하기 기능

- 무의미 음절 변별하기 기능 - 단어 변별하기 기능

말(문장)의 변별 기능

- 질문에 대답하기 기능 - 지시사항 수행 기능 - 청각적 순서 수행 기능 - 청각적 추론 기능

<표 3> 단계별 청능 훈련기술

□ 연구주제의 선정 ○ 문제의 착안점

- 우리 주변에는 생각보다 많은 청각장애인들이 거주하고 있다. 우리는 그들과 함께 지내면서 그들의 귀가 더 잘 들리기 위해서는 어떤 장치가 필요할까라는 생각을 가지게 되었다. 그 연구를 진행하기 위해 우리는 청각 장애 관련 여러 논문을 찾아보았고 그 결과 다음과 같은 정보를 얻을

수 있었다. 청각을 통한 소리의 전달과 인식 경로를 보면, 공기 중의 음파가 외이도를 지나 고막을 진동시키고 이소골을 지나면서 증폭되어 난원창을 통하여 내이에 들어가 외우내의 림프액에 진동을 일으키고, 이 진동은 코르티기관에서 전기적 에너지로 변환되어 청신경을 통하여 대뇌에 이르 게 되어 소리를 느끼게 된다. 이러한 청각 경로의 어느 부분에라도 이상이 있으면 듣기에 어려움을 겪게 되는데 이러한 현상을 청각장애라고 한다.

청각의 감도에 따라 난청과 농으로 구분하기도 하며 농과 난청을 모두 포괄하여 청각장애로 일컫는다.

구분 내용

1급 청력장애 2급인 자가 다른 장애와 함께 중복 될 경우 2급 양이 손실이 각각 90dB 이상인 경우

3급 양이 손실이 각 80dB 이상 또는 귀에 입을 대고 큰소리로 말해도 듣지 못하는 경우

4급 1호 양이 손실이 각각 70dB이상 또는 귀에 입을 대고 말하면 들을 수 있는 4급 2호 어음명로도가 50%이하 도는 쾌적역치에서 명료도가 50%이하 경우

5급 양이 손실이 각각 60dB 이상 또는 40cm이상 거리에서 말소리를 듣지 못 하는 경우

6급 한 귀의 손실이 80dB 이상이고 다른 귀의 손실이 40dB 이상인 경우

<표4. 청각장애의 등급>

우리는 논문에서 알 수 없는 청각장애인들의 실생활 문제와 같은 정보에 대해 알기 위해서 교내 특수교육 담당 선생님을 찾아가 청각 장애와 관련한 이야기를 들었다. 청각장애인 중 듣는 것이 거의 불가능한 정도인 농인 장애인의 수는 많지 않고, 대부분의 청각장애인들이 일정 진동수를 듣지 못하는 난청이라는 사실을 알게 되었다. 이런 난청을 가진 장애인들은 일명‘청능 훈련’ 이라는 소리를 듣는 연습을 함으로써 좀 더 소리를 잘 들을 수 있다. 또한, 요즘 청력을 대신할 ‘인공 와우 ’이식수술을 많이 하고 있다고 했다. 하지만 인공 와우를 이식하고 난 후에 음의 높낮이 를 잘 구별하지 못하기 때문에 음의 높낮이를 구별하는 훈련이 가장 필요하 다고 한다. 따라서 우리는 난청을 가진 청각장애인의 청능 훈련에 도움이 되고, 인공 와우를 이식 했을 때 소리의 파동을 빛과 진동으로 연관시켜 음의 차이를 좀 더 쉽게 알 수 있도록 해주는 장치를 아두이노를 활용하여 제작하게 되었다. 또한, 인공 와우를 시술하더라도 음악 감상에는 제한이

많아서 청각장애인들이 좀 더 음악을 잘 감상할 수 있도록 음악 감상에 도움을 주는 장치를 만들기로 하였다.

□ 연구 방법

탐구 1. 청각장애인을 교육하는 특수 교육 선생님께 자문을 받는다.

탐구 2. 마이크로 폰과 MBL을 이용하여 악기의 파형을 알아보고 분석한다.

탐구 3. 진동 센서를 이용한 박자 교육장치를 만들어 본다.

탐구 4. Flexible LED Matrix를 이용하여 진동수를 표현한다.

탐구 5. 아두이노를 활용하여 음의 높낮이를 교육할 수 있는 피아노를 만든다.

□ 연구 활동 및 과정

탐구 1. 청각장애인을 교육하는 특수 교육 선생님께 자문을 받는다.

- 질문1. 청각장애인인도 음악교육을 하는지요?

- 질문2. 청각장애인의 음악교육은 어떻게 진행이 되나요?

- 질문3. 청각장애인의 음악교육에 필요한 장치는 무엇이 있을까요?

탐구 2

마이크로 폰과 MBL을 이용하여 악기의 파형을 알아보고 분석한다.

가. 탐구설계

(1) 랩퀘스트에 마이크로 폰을 연결한다.

(2) 현악기 종류인 통기타, 일렉기타, 해금과 관악기 종류인 리코더, 오카리나, 단소를 각각 같은 진동수의‘파’를 연주해서 파형을 측정한다.

(3) 각각 악기의 파형을 분석한다.

<그림9. 랩퀘스트> <그림10. 마이크로 폰>

탐구 3 진동 센서를 이용한 박자 교육장치를 만들어 본다.

가. 탐구설계

(1) 아두이노 메가 보드에 진동판을 연결한다 (2) 120템포를 기준으로 각각 

 , _



, _



, _



 , _



 박자에 따라 진동판 이 울리는 코드를 짠다. (분모가 4인 박자는 진동을 0.5초를 주기 로, 분모가 8인 박자는 진동을 0.25초를 주기로 하고, 같은 분모를 가진 박자는 첫 박을 세게 진동시켜 구분을 할 수 있도록 한다.) (3) 코드에 오류가 없는지 확인한 뒤 실행한다.

(4) 플라스틱 반구에 진동 센서 5개를 다음 그림과 같이 가장 촉각이 민감한 각각 손가락의 끝 부분에 오도록 배치한 뒤 아두이노 보 드에 연결한다.

(5) 진동판과 아두이노 메가보드를 점퍼케이블로 연결한다.

<그림11. 진동판 배치도> <그림12. 진동판>

그림 13. 진동을 이용한 박자 교육 장치 제작 중 그림 14. 진동센서를 박자교육 장치에 부착 중

나. 시행착오 및 해결 방안

5개의 진동 센서를 연결 하고 난 뒤 코드를 실행하니 진동의 세기가

작아졌다. 배선 방식을 직류에서 교류로 바꾼 결과, 전류가 원활하게 공급되어 진동의 세기가 처음상태로 되돌아 왔다.

탐구4

Flexible LED Matrix - WS2812B (8x32 Pixel)를 이용하여 음 악의 진동수를 분해하고 LED Matrix에 나타날 수 있게 코 딩하고, 볼 수 있는 장치를 만든다.

가. 탐구설계

기존의 이퀄라이저는 주파수를 무작위로 받아들여 표현하기 때문 에, 음악을 이루는 정확한 음을 표현하지 못하고, 배음 또한 표현하지 못한다. 우리는 음악에서 각 63Hz, 160Hz, 400Hz, 1kHz, 2.5kHz, 6.25kHz, 16kHz에 해당하는 주파수가 나오면, 불이 들어오도록 하여 음악이 어떠한 음으로 이루어져 있는지 표현할 수 있고, 배음 또한 알 수 있다. 또한 해당 주파수의 소리 세기에 따라 들어오는 LED의 수가 다르기 때문에 주파수의 구성을 비교적 정확히 알 수 있어 음악 을 이해하는데 도움을 줄 수 있을 것이다.

(1) Flexible LED Matrix - WS2812B (8x32 Pixel)에 아래의 패턴과 같 이 63Hz, 160Hz, 400Hz, 1kHz, 2.5kHz, 6.25kHz, 16kHz의 진동수에 반응하여 LED가 켜지도록 코딩하면서 오류를 확인한다.

(2) 스펙트럼 쉴드와 3.5mm Audio Jack을 통하여 아두이노로 진동수 를 입력시킨다.

(3) 해당 음의 진동수에 대한 소리의 세기가 클수록 막대의 높이가 높게 나타난다.

<그림15. Flexible LED Matrix - WS2812B (8x32 Pixel)의 패턴>

<그림16. Flexible LED Matrix - WS2812B (8x32 Pixel)>

탐구 5 아두이노를 활용한 피아노 음의 높낮이 교육장치 제작 가. 탐구 설계

(1) 하드보드지와 스티로폼을 이용해 피아노 모형을 만든다.

(2) 피아노의 한 옥타브를 스위치를 이용하여 배치한다.

(3) 위치를 누르면 해당 소리가 나오도록 코드를 짠다.

(4) Flexible LED Matrix - WS2812B (8x32 Pixel)를 연결해 해당 건반을 눌렀을 때, 그 음과 대응하는 색상과 높이가 표현되도록 코딩한다.

나. 시행착오 및 해결방안

여러번의 시도에도 작동이 되지 않아 그 이유를 탐구해 보니 회로에 값이 맞지 않는 저항을 연결했다는 것을 알게 되었다. 그래서 다시 다른 저항을 연결하였더니 작동이 되었다. 또한, 고음일수록 진동수가 높아지 는 장치를 만들려고 하였으나 진동센서의 한계가 있어 아쉽게 만들지 못하였다.

3. 연구 결과 및 시사점

□ 연구 결과

탐구 1. 청각장애인을 교육하는 특수 교육 선생님께 자문을 받는다.

특수 교육 전문가님께서 청각장애의 범위는 매우 넓고, 아예 안 들리는 사람은 거의 없으며 대부분이 난청이라고 하셨다. 그러면서 요즘에는 보청 기를 끼는 사람들도 많고, 인공 와우 이식술도 생기고 있기 때문에 좀 더 범위를 좁힐 필요가 있다고 하셨다. 또한, 인공 와우 이식술이 요즘 개발 되면서 많이 이루어지고 있는데, 인공 와우를 이식했을 때, 평범한

사람이 듣는 소리와는 조금 다르고 소리의 높낮이를 구분하는 것이 힘들기 때문에 그런 교육이 필요하다고 하셨다. 그래서 음의 높낮이를 교육하는데 도움이 되는 장치를 개발하는 것이 좋을 것 같다고 하셨고, 원래 청각 장애인의 음악교육은 시각과 촉각을 이용해서 진행하기 때문에, 우리가 진동과 빛을 이용하여 연구할 것을 제안하셨다.

탐구 2

마이크로 폰과 MBL을 이용하여 악기의 파형을 알아보고 분석한다.

- 같은 진동수인 ‘파’를 연주하여 분석한다.

(1) 관악기의 파형

<그림17. 단소의 파형> <그림18. 리코더의 파형> <그림19. 오카리나의 파형>

(2) 현악기의 파형

<그림20. 통기타의 파형> <그림21. 일렉기타의 파형> <그림22. 해금의 파형>

(3) 처음에는 관악기끼리, 현악기끼리의 공통점과 차이점을 찾아서 분 석하려고 했지만, 같은 악기군끼리의 소리의 공통점을 직접 귀로 들 어서는 찾을 수가 없어서 각각의 악기의 파형을 분석하게 되었다.

소리의 특징 파형 분석 결과

단소

초반에는 파형이 낮았다가 끝소리를 낼수 록 파형이 높아지는 것을 알 수 있음. 많 은 기복이 일어남.

리코더

<표 5. 악기별 소리 특징과 파형 분석>

파형은 고조파 성분에 따라서 결정되기도 한다. 고조파 성분이 많으 면 파형에는 미세한 기복이나 날카로운 커브가 나타나고, 고조파 성 분이 적으면 파형은 원을 그리듯이 길게 늘어난다. 실험을 통해 확인 한 악기별 파형을 봤을 때 상대적으로 가장 고조파 성분이 적은 소리 는 오카리나이고 그 외의 악기들은 날카로운 커브가 일어나 고조파 성분이 많은 것을 알 수 있다.

탐구 3 진동 센서를 이용한 박자 교육장치를 만들어 본다.

다음 사진과 같이 반구에 아이클레이를 덧떼고, 진동판과 아두이노를 연결해 2/4, 3/4, 4/4, 6/8, 12/8박자에 따라 진동하도록 했다.

<그림23. 4/4박자를 나타내는 코드>

<그림24. 직접 제작한 진동 체험 장치>

<그림25. 진동 체험 장치를 직접 체험중

인 사진>

일정하고 맑음.

데 높은 부분 중에서도 첫 소리가 가장 높 은 것을 알 수 있음. 단소와 같이 기복이 자주 관찰됨.

오카리나

좁은 간격의 파형이 반복되며 상하운동만 하는 것이 특징. 파형이 부드럽게 곡선을 그리듯이 움직임.

통기타

일정한 파형의 모양이 반복되고 중간소리 까지 파형이 치솟았다가 다시 급격하게 감 소하는 것을 볼 수 있음. 진폭이 가장 큼.

일렉 기타

통기타보다 파형이 반복되는 시간이 짧고 파형이 완만하지 않고 급격한 경사를 보이 고 있음. 날카로운 느낌을 줌.

해금

오카리나와 같이 상하로 움직이고 있지만 반복 주기가 짧고 날카로운 파형을 가지고 있다.

탐구4

Flexible LED Matrix - WS2812B (8x32 Pixel)를 이용하여 음 악의 진동수를 분해하고 LED Matrix에 나타날 수 있게 코 딩하고, 볼 수 있는 장치를 만든다.

음악을 입력 시켰을 때, 63Hz, 160Hz, 400Hz, 1kHz, 2.5kHz, 6.25kHz, 16kHz의 진동수에 반응하여 Flexible LED Matrix - WS2812B (8x32 Pixel)에 불이 켜지도록 하였다.

<그림26,27. Flexible LED Matrix - WS2812B (8x32 Pixel)을 이용한 진동수 표현 코드의 일부 >

<그림28,29 Flexible LED Matrix - WS2812B (8x32 Pixel)의 진동수 표현 >

탐구 5 아두이노를 활용한 피아노 음의 높낮이 교육장치 제작

하드보드지와 스티로폼을 이용하여 피아노 모양을 만든 후, 다음 사 진과 같이 스위치를 붙여 해당 소리가 나게 하였고, 해당 건반을 눌 렀을 때, 그 음에 대응하는 색이 LED에 나타나고, 반음 씩 올라갈 때 마다 LED가 켜지는 수를 한 개씩 많게 하여 음의 높낮이를 쉽게 알 수 있게 하였다.

<그림30,31. 직접 제작한 아두이노 피아노>

□ 시사점

○ 학생들이 선택한 연구 주제에 대한 전문성 향상 되었다.

- 아두이노를 활용한 연구 목적의 달성을 통해 소프트웨어 및 코딩 교육의 중요성을 인식하고, 전문성을 함양하였다.

○ 자율적으로 문제를 찾고, 연구 방법을 익히며 문제해결능력을 향상시 켜 최종적으로 창의적 지식 생산자로 성장할 수 있는 기회를 가짐.

- 소리를 빛, 진동과 같은 형태로 표현 및 구현하면서, 감각을 느끼는 방법에 대해 확장하며, 감각의 한계를 확장하는 경험을 통해 창의성 및 유연성을 기르는 계기가 되었다.

○청각장애인의 입장에서 세상을 바라보는 계기가 되었다.

-청각장애인의 입장이 되어 아두이노를 활용하여 장치를 만들고, 직 접 같은 학교의 청각 장애를 가진 학생과 함께 시험해 보면서 장애인 의 입장을 더욱 이해하게 되고, 배려심을 가지게 되었다.

○ 지도교수, 멘토, 동료 등과의 협력 및 연구 결과 발표 과정(STEAM R&E 중간 발표회 등)을 통해 의사소통 능력 및 발표 능력을 포함한 긍정적 대인관계 능력을 함양하였다.

4. 홍보 및 사후 활용

○ 논문집으로 제작하여 여러 아이들이 청각장애에 대해 다시 알게되고 그 교육의 필요성을 느낄 수 있도록 한다.

○ 고등학교 과정에서 활용할 수 있는 소프트웨어 교육 및 STEAM 교육의 사례로 활용 가능하다.

○ 청각 장애 학생들을 위한 소리 체험 교구로 개발 가능하며, 이를 토대로 지역사회와 연계한 교육 봉사 활동의 도구로 활용 가능하다.

○ 청각 장애 아이들이 호기심을 갖고 이 장치를 사용할 수 있도록 다양한 모양과 재질로 다시 제작이 가능하다.

○ 원래 악기의 파형을 분석한 것을 아두이노를 이용하여 파형을 LCD판 에 띄우고, 파형에 따라 진동에도 변화를 주어 악기별 특징을 표현하 고자 하였지만, 구현하지 못하였고, 후에 다시 연구할 계획이다.

○ 우리가 제작한 음의 높낮이를 표현하는 장치에서 더 나아가 악보에 맞게 칠 수 있도록 하는 리듬게임 제작까지 할 수 있다.

○ 청각 장애인 뿐만 아니라 일반 아이들까지 음악교육을 시킬 수 있는 장난감 형식의 장치로 개발이 가능하다.

5. 참고문헌

○ 강인애, 김희주, 김다미, 오픈소스 소프트웨어를 활용한 고등학교 STEAM 프로그램이 학생들의 과학에 대한 흥미도 및 태도에 미치는 영향 수업 사례연구, 2012, 중등교육연구, 60(4)

○ 김성원, 과학교육에서의 창의 인성과 STEAM 융합교육, 2011, 한국현 장과학교육학회 학술대회

○ 아두이노 매뉴얼 Ver.2-1–메카솔루션(www.mechasolution.com) ○ 아두이노 공식 사이트 http://www.arduino.cc/

○ 김진일, 2011, 정상파 관찰 장치 제작과 정상파 이론 적용에 대한 연구, 제57회 과학전람회, p.8-9

○ 김경헌 외 17인, 2009, 기초 물리학 실험, 북스힐, p.153-155

○ 김성일, 정진승 - 컬러이미지-소리 변환 시스템에 관한 기초연구 ○청각장애 [聽覺障碍, hearing impairment] (특수교육학 용어사전,

2009., 국립특수교육원)