5장 사운드.

Presentation on theme: "5장 사운드."— Presentation transcript:

1 5장 사운드

2 5.1 사운드의 개요 5.1.1 개요 사운드는 크게 음악, 음성, 음향 효과의 세 분야로 나눌 수 있다.
음악과 음성처럼 독자적으로 사용하기도 하지만, 영화나 에니메이션과 같은 멀티미디어 환경에서는 같이 혼재되어 사용함 5.1.1 개요 사람이 가지고 있는 오감(시각, 청각, 촉각, 미각, 후각) 중 주로 사용되는 정보 전달의 수단은 시각과 청각이다. 2

3 5.1.2 사운드의 종류 정보 전달 시 사운드를 이용함으로 써 얻는 장점 청각, 시각, 청각+시각 정보 전달의 비교
미디어의 상승 효과 : 여러 미디어를 같이 사용할 수록 정보 전달 효과가 커짐 동기 유발 : 여러 미디어를 혼합함으로써 피 정보 전달자의 동기나 흥미 유발 청각, 시각, 청각+시각 정보 전달의 비교 정보 전달의 필요한 정보를 전달할 때  청각 정보를 사용하면 정보의 전달 효과가 커지게 된다 5.1.2 사운드의 종류 일반적으로 사운드는 음성, 음악 , 음향 효과의 세가지로 분류하고, 컴퓨터에서 처리하는 방법에 따라서는 디지털 오디오(digital audio)와 미디(MIDI)로 분류     3

4 일반적인 분류 4

5 컴퓨터에서 사운드를 처리하는 방법에 따른 분류
5

6 5.1.3 사운드의 제작 과정 계획(plan) 녹음(record) 변환(capture) 편집(edit)
작업에 대한 계획을 세우고, 필요한 조건 검토 최종 결과에서 사용될 사운드에 대해 설계 녹음(record) 현실 세계의 소리를 사운드 도구를 이용하여 녹음 변환(capture) 녹음된 사운드(아날로그 형태)를 컴퓨터에서 처리가능한 디지털 형태로 변환 편집(edit) 원하는 목적에 맞게 사운드 편집 프로그램을 이용하여 편집(edit) 또는 믹싱(mixing) 6

7 5. 저장(store) 통합(integrate) 연주(playback) 디지털 사운드의 제작 과정
편집이 끝난 중간 결과를 원하는 포맷으로 저장 통합(integrate) 최종 결과를 만들기 위해 저장된 사운드를 다른 프로그램과 통합 연주(playback) 최종결과를 재생하여 보완될 점을 수정 디지털 사운드의 제작 과정 7

8 5.2 사운드의 기본 개념 사운드는 음원에서 물체가 진동하여 공기라는 매체의 압력을 변화시킴으로써 생성되고 , 이 변화는 파형(waveform)의 형태로 우리 귀에 전달 사운드를 처리하는 것은 이러한 파형을 가공, 편집하는 것을 의미 소리가 전달 되는 과정 8

9 5.2.1 사운드의 기본 요소 사이클(cycle) : 일정한 시간 간격마다 반복되는 동일한 모양
주기(period) : 한 사이클이 걸리는 시간 어느 정도의 주기를 갖고 있는 사운드가 그렇지 않은 사운드보다 음악적으로 들림 사운드를 구성하는 3 요소 주파수(frenquency) : 음의 높낮이와 관련 진폭(amplitude) : 음의 크기와 관련 음색(tone color) : 음의 특성 9

10 주파수와 진폭 10

11 소리의 높낮이를 결정 (주파수가 높으면 고음, 낮으면 저음) 사람이 낼 수 있는 주파수 대는 약 100Hz ~ 6KHz
(1) 주파수 소리의 높낮이를 결정 (주파수가 높으면 고음, 낮으면 저음) 사람이 낼 수 있는 주파수 대는 약 100Hz ~ 6KHz 사람의 가청 주파수 대는 약 20Hz ~ 20KHz 사람의 청각은 1KHz ~ 6 KHz 에 가장 민감 사람의 가청 주파수대를 오디오(Audio)라고 구분하여, 사운드를 처리하는 것이 오디오를 처리하는 것과 같다고 보는 생각도 있음 11

12 파형의 기준선에서 최고점까지의 거리를 의미하며 소리의 크기와 관련(진폭이 크면 큰소리, 작으면 작은 소리)
(2) 진폭 파형의 기준선에서 최고점까지의 거리를 의미하며 소리의 크기와 관련(진폭이 크면 큰소리, 작으면 작은 소리) 소리의 크기는 음압 변화의 비율로 표현 사람의 귀는 소리의 크기의 변화보다 변화의 비율(logarithm)에 영향을 받음 소리의 크리를 표현 할 때에는 소리의 크기에 로그 값을 취한 bel로 표현하고, 사용 시에는 bel값을 10배한 decibel을 사용 기준 음압을 P0 음압을 P라하면 음압레벨 (dB) = 10 x 2 log (P/P0) 인간이 가장 편하게 들을 수 있는 소리의 범위는 0db ~ 90db　 12

13 음의 높이와 크기가 같아도 악기마다 고유한 특징이 있는데 이를 음색이라고 함
음의 크기와 소리의 예 (3) 음색 음의 높이와 크기가 같아도 악기마다 고유한 특징이 있는데 이를 음색이라고 함 13

14 5.2.2 디지털 사운드로의 변환 파동(wave)은 원래 아날로그 형태인테 컴퓨터에서 처리하기 위해서는 디지털 형태로 변환되어야 함 컴퓨터에서 처리하기 위해 사운드 입력 부분에서 ADC(Analog-to-Digital Converter)를 이용하고, 실세계에서 듣기 위해서 사운드 출력 부분에서 DAC(Digital-to-Analog Converter)를 이용 아날로그 신호와 디지털 신호 간의 변환 과정 14

15 디지털로 변환 과정은 표본화(Sampling), 양자화(Quantizing), 부호화(Coding) 과정을 거치게 됨
아날로그 파형을 디지털 형태로 변환하기 위해 표본을 취하는 것을 의미 표본화율(Sampling Rate) : 1초 동안에 취한 표본수(디지털화하는 횟수)를 말하며, 단위는 주파수와 같은 Hz를 사용 15

16 (a) 아날로그 파형 (b) 표본화된 파형 아날로그 사운드의 표본화 16

17 표본화율이 높을수록 원음에 가까운 음으로 디지털화 되지만 데이터 양이 증가
표본화 율의 차이 17

18 표본화를 많이 할 수록 원음을 잘 표현할 수 있으나 데이터 저장을 위한 공간 증가
주파수에서의 Hz는 1초에 주기가 몇 번 있는 가를 의미하고, 표본화에서의 Hz는 1초에 몇 번 표본화 되는가를 의미 나이키스트 정리(Nyquist theorem) 표본화 시 원음을 그대로 반영하기 위해서는 원음이 가지는 최고 주파수의 2배 이상으로 표본화 해야 한다. 음악 CD인 경우 표본화 율이 44.1KHz이고 여기서 재생할 수 있는 최고 주파수는 22.05KHz임(사람의 귀는 20KHz 이상의 사운드는 감지할 수 없음) 18

19 (2) 양자화 디지털 형태로 표현할 때 어느 정도의 정밀도를 가지고 표현할 것인지를 의미. 즉 표본화된 각 점에서 값을 표현하기 위해 사용되는 비트 수 음의 해상도 : 값을 표현하는 정밀도 (Sampling Resolution, Sampling Size) 8 bit로 양자화를 하면 값을 256(28) 단계로 표현할 수 있지만, 16bit로 양자화를 하면 좀 더 세밀한 65536(216) 단계로 값을 표현할 수 있음 19

20 음악 CD인 경우는 16bit로 값을 표현하는데 이는 음을 65,536 단계로 표현하고 있다는 것을 의미
(a) 2 bit 양자화 (4단계) (b) 3 bit 양자화 (8단계) (c) 4 bit 양자화 ( 16단계) 아날로그 파형의 양자화 음악 CD인 경우는 16bit로 값을 표현하는데 이는 음을 65,536 단계로 표현하고 있다는 것을 의미 20

21 아날로그 신호에 포함되는 잡음(noise)의 성분보다 높은 정밀도를 사용하게 되면 잡음도 원음으로 간주하여 양자화를 함
아날로그 신호에 포함되는 잡음(noise)의 성분보다 높은 정밀도를 사용하게 되면 잡음도 원음으로 간주하여 양자화를 함. 따라서 양자화 과정에 사용되는 비트 수는 신호대 잡음의 비율인 S/N(Signal to Noise)비와 진폭의 최고점과 최저점 사이의 범위(Dynamic Range)를 고려하여 결정 (a) 원래의 파형 (b) 낮은 표본화와 양자화 (c) 높은 표본화와 양자화 표본화 및 양자화 정도에 따른 비교 21

22 표본화와 양자화를 거친 디지털 정보를 표현하는 과정
(3) 부호화 표본화와 양자화를 거친 디지털 정보를 표현하는 과정 사운드 화일은 크기가 크기 때문에 부호화한 과정에서 일반적으로 압축하여 저장 22

23 5.3 사운드의 저장과 고품질화 5.3.1 디지털 파형의 저장 방식
아날로그 사운드를 부호화 하는 방식으로는 PCM 방식이 있는데 이 방식은 파일의 크기가 커서 ADPCM 방식을 주로 사용 (1) PCM 방법(Pulse Coded Modulation) 입력된 값 그대로를 기록하는 방법 압축을 하지 않기 때문에 용량이 큼 CD나 DAT(Digital Audio Tape) 등에서 사용 23

24 (2) ADPCM 방법(Adaptive Differential Pulse Coded Modulation)
(a) PCM 방식 (b) ADPCM 방식 디지털 파형의 저장 방식 (2) ADPCM 방법(Adaptive Differential Pulse Coded Modulation) 국제 멀티미디어 협회(IMA;International Multimedia Association)에서 제안한 방식 24

25 그림 [ADPCM]에서와 같이 표본화 된 신호의 차이를 저장하는 방식
차이만을 저장하는 방식은 DPCM(Differential Pulse Coded Modulation)이라고 함 DPCM은 인접한 값과의 차이가 크면 비효율적이 됨 ADPCM : DPCM에서 인접한 값과의 차이가 크면 진폭을 나누는 단계를 크게 하고, 차이가 작으면 진폭을 나누는 단계를 작게하여 가변적으로 차이를 정밀하게 저장 기본적으로 PCM 방법으로 기록한 것과 내용이 같으나 데이터 압축에 의한 값을 기록하므로 최대 4:1 까지 압축이 가능 멀티미디어 협회에서 기본적인 알고리즘을 정의하였으나, 업체마다 다르게 구현하여 상호 호환성이 없음 25

26 [시연] 표본화, 양자화 및 모드에 따른 음질의 비교
5.3.2 디지털 사운드 파일의 크기 [시연] 표본화, 양자화 및 모드에 따른 음질의 비교 26

27 파일의 크기 파일의 크기 = 표본화율 x 해상도 x 모드(mono=1, stereo=2) x 시간(초)
1분 길이의 음악 CD = (Hz) x 16 (bit) x 2 (stereo) x 60 (초) = 84,672,000 bit = 10,584,000 byte = 10.6 MB CD 한 장의 용량이 650MB이므로 그 안에는 약 10곡에서 15곡의 음악이 저장 가능 27

28 5.3.3 고품질 사운드의 획득 사운드를 어디에 사용할 것인지를 고려하여 표본화율과 해상도를 결정
아날로그 신호가 들어 오면 먼저 표본화율(Sampling Rate)보다 높은 고주파 성분을 제거 전처리 필터(Prefilter: Low-pass filter)를 통하여 표본화율의 1/2보다 높은 고주파 성분을 제거 ADC(Analog-Digital-Converter)에 의해 표본화, 양자화 과정을 거쳐 디지털 신호로 변환, 부호화 부호화된 디지털(bit stream) 정보를 DSP(Digital Signal Processor)에서 원하는 목적에 맞게 편집, 가공, 저장 28

29 5. 출력시에 DAC(Digital-Analog-Converter)를 거쳐서 아날로그 파형으로 변환
고주파 성분을 제거 시키기 위해 후처리 필터(Postfilter: Low-pass filter)를 통과시켜 최종적인 아날로그 신호로 변환 아날로그 파형의 디지털 과정 29

30 앤티앨리어싱(Antialiasing)
아날로그 파형을 디지털로 변환하는 과정 중 여러 부분에서 잡음이 발생할 수 있는데, 여기서는 크게 표본화 과정과 양자화 과정 그리고 기타 부분으로 나누어 살펴본다 (1) 표본화 과정 앤티앨리어싱(Antialiasing) 표본화할 때 표본화 주파수의 1/2보다 큰 주파수가 있을 경우에 그대로 디지털화 하면 표본화 주파수의 1/2보다 큰 주파수가 표본화 되는 주파수 영역으로 들어와 잡음으로 존재 : 앨리어싱(aliasing) 사운드에 원래 고주파 성분이었던 울림이 없어지고 저주파수의 방해음이 발생 절환 오차 30

31 (2) 양자화 과정 양자화 오차 디더링(Dithering) (3) 기타 고려사항 클리핑(Clipping)
아날로그 파형을 양자화 비트로 표현하면서 발생하는 값의 차이 이를 최소화하기 위해서는 양자화 비트 수를 늘려주어야 함 디더링(Dithering) 아날로그 파장을 디지털 형태로 바꾸는 과정에서 미소한 잡음(White Noise 또는 Dither Noise) 성분을 인위적으로 첨가하여 양자화 잡음과 음의 왜곡을 줄이는 방법 (3) 기타 고려사항 클리핑(Clipping) 원음의 진폭이 기계가 수용하는 진폭보다 크거나, 양자화 하여 나타낼 수 있는 진폭보다 큰 경우에 발생 31

32 (a)원래의 파형 (b) 클리핑 후의 파형 (c) 정규화된 파형 클리핑 지터(Jitter) 에러
디지털 신호의 전달 과정에서 일어나는 시간 축상의 오차, 즉 신호가 지연되어 전달되거나 기기 간의 저항(impedance)이 제대로 매칭(matching)되지 못해 발생하는 신호의 왜곡 지터 에러가 심하면 음이 '찌직'거리거나 '따닥 따닥'하는 정전기성 잡음이 들림 32

33 5.4 디지털 오디오 시스템 5.4.1 사운드 하드웨어 사운드는 마이크나 CD같은 곳에서 아날로그 파장으로 입력되어 오디오 인터페이스 카드(사운드 카드)에서 디지털 형태의 데이터로 변환되어 처리됨 출력 시에는 오디오 인터페이스 카드에서 디지털 형태의 데이터를 아날로그 파장으로 변환하여 앰프나 스피커로 출력함 실제로 사운드 카드의 기본적인 기능은 아날로그와 디지털 간에 변환을 하는 ADC, DAC임 요즘 사운드 카드는 이러한 순수한 인터페이스 기능 외에 음원칩, DSP(Digital Signal Processing) 등이 추가되어 데이터의 가공, 편집 등의 향상된 기능을 제공 33

34 사운드 카드의 개략도 34

35 PC에서 최초의 사운드 카드는 1987년 캐나다의 Adlib사에서 제작한 Adlib이라는 사운드 카드임
(1) 사운드 카드 PC에서 최초의 사운드 카드는 1987년 캐나다의 Adlib사에서 제작한 Adlib이라는 사운드 카드임 일본의 Yamaha사의 YM-3812 칩을 사용하여 11중 화음의 연주가 가능 FM 음원을 사용하여 음이 자연스럽지 못하고 음성처리 불가능 Creative사에서 SoundBlaster카드 발표 PCM 방식의 사운드 카드 실질적인 사운드 카드의 표준 35

36 기본적으로 아날로그 파형과 디지털 파형과의 상호 변환(ADC/DAC)을 지원 음원칩을 내장하고 있어서 MIDI 지원 가능
사운드 카드의 향상된 기능 16 bit사운드 카드로 발전 향상된 음원칩 내장 데이터 전송 방법의 발달(ISA => PCI) 디지털 입출력 단자(S/PDIF)의 제공 인터넷 상에서 음성통신을 하기 위해 양방향(full-duplex) 기능을 지원 3차원 입체 음향을 효과적으로 제공하는 방향으로 발전 요즘에는 Dolby-Surround 지원이나 3D 지원 같은 고급 기능이 지원되는 카드가 많이 나오고 있음 기본적으로 아날로그 파형과 디지털 파형과의 상호 변환(ADC/DAC)을 지원 음원칩을 내장하고 있어서 MIDI 지원 가능 36

37 사운드를 들을 경우 사운드 카드나 앰프 등의 영향보다 스피커의 영향이 제일 큼(사람이 느끼기에 약 70% 정도)
(2) 앰프와 스피커 사운드를 들을 경우 사운드 카드나 앰프 등의 영향보다 스피커의 영향이 제일 큼(사람이 느끼기에 약 70% 정도) 양질의 음을 듣기 위해서는 앰프와 저음부를 잘 재생하는 우퍼(Woofer)를 이용 근래에는 사운드 카드에 맞추어 서라운드나 3D를 지원하는 스피커나 앰프가 나오고 있음 37

38 5.4.2 사운드 처리 소프트웨어 (1) 사운드 편집 소프트웨어
디지털 형태의 사운드를 편집하는 소프트웨어들의 기본 기능은 유사함 사운드를 캡쳐(Capture), 편집, 가공하는 기능, 여러 트랙에 대한 편집 기능 등은 대부분 소프트웨어에서 지원 그 외의 특수 효과의 지원 정도와 기능의 확장성(plug-in 등)에서 약간의 차이 있음 GoldWave Sound Forge 38

39 Cool Edit Pro 최대 198KHz까지의 표본화율의 지원, ActiveMovie 및 DirectX plug-in 제공
트랙별 진폭조절 기능과 패닝 조절, 자동 silience 삭제, 다단계 undo 등 전문적인 디지털 오디오 편집 기능 제공 MPEG filter가 있어 이를 설치하면 MPEG audio 부분 지원 가능 SMPTE/MIDI 를 지원하는기능이 있어서 사운드를 비디오나 미디와 통합하기 쉬움 디지털 사운드를 미디로 변환하여 저장하는 기능 제공 39

40 컴퓨터에서 주로 음악을 들을 때 사용하는 프로그램으로 주로 음악 CD나 MP3 파일을 들을 때 사용 Win amp
(2) 재생 프로그램 컴퓨터에서 주로 음악을 들을 때 사용하는 프로그램으로 주로 음악 CD나 MP3 파일을 들을 때 사용 Win amp 거원제트 오디오 Sonic 　 40

41 5.4.3 디지털 사운드의 압축 방식 디지털 사운드는 용량이 크기 때문에 대부분 압축을 하여 사용함 ADPCM
ITU-T(International Telecommunication Union-Telecommunication)에서 ADPCM 방식으로 32Kbps에서 음성을 전송할 수 있는 방식으로 G.721 제정 각 표본화 값의 차이를 4bit로 표현하고 표본화율(Sampling Rate)은 8KHz를 사용 41

42 A-law, u-law TrueSpeech 음성 통신을 목적으로 정한 압축 방식
두 방식 모두 양자화 과정에서 오차를 줄이기 위해 만들었으며 비슷한 방식을 사용 사람은 대화시 큰소리의 변화보다는 작은 소리의 변화를 더 잘 감지한다는 사실을 이용한 비균등 코딩(Non-uniform Coding) 방식 TrueSpeech DSP(Digital Speech Products) 사에서 음성의 실시간 전송을 위해 만든 방식으로 3.7Kbps에서 8.5Kbps까지 전송 가능 사람과 사람이 대화할 때 대화 사이의 공백은 디지털 데이터로 전송할 필요가 없다는 사실을 이용하여 최대 40:1까지 압축 가능 42

43 MP3 또는 MPEG Layer 3 동화상 압축 표준인 MPEG(Moving Picture Expert Group)에서 오디오 부분의 압축을 의미 PCM 관련의 압축 방식과 다른 손실 압축(Lossy Compression) MPEG-1의 오디오 부분의 Layer 3를 MP3라는 이름으로 사용 MPEG-2의 오디오 부분은 AAC(Advanced Audio Coding)라고 하여 사용 음성 심리학적인 방법인 마스킹(Masking) 효과를 이용 마스킹 효과 : 큰소리와 작은 소리가 동시에 발생하면 작은 소리는 들리지 않게 되는 것처럼 어떤 소리에 의해 다른 소리가 가리워지는 현상을 의미 MPEG-1의 오디오 트랙에는 Layer 1(압축률 1:4 정도), Layer 2(압축률 1:6 - 1:8 정도), Layer3(압축률 1:10 - 1:12 정도)가 있음 43

44 RealAudio RealNetwork사에서 실시간으로 음성을 보내기 위해 만든 압축 방식으로 별도의 서버가 필요
스트리밍 기술을 이용, 실시간에 사운드를 전송받으며 재생할 수 있는 사운드 형식 네트워크 속도에 따라 선택적으로 전송 가능 44

45 5.4.4 디지털 사운드의 파일 포맷 Wav Microsoft사와 IBM 사가 PC상의 사운드 표준 형식으로 공동 개발
Windows 기반 PC에서 주로 사용 머리(Header)와 몸체(Body)로 구성 머리 : 압축방식, 표본화율 등의 정보를 설정 몸체 : 머리 부분에서 정의한 형식에 맞추어 사운드 데이터를 저장 같은 wav확장을 가져도 구체적인 압축 방식은 상이할 수 있음 일반적으로 ADPCM방식이 많이 사용되고, 그 외에 Truespeech, u-Law등도 많이 사용 45

46 Au MP2, MP3 u-law 방식으로 압축된 형식으로 유닉스 환경에서 사용
일반적인 형식이며 다른 형식으로 변환하기 위한 크로스 플랫폼 형식 Sun이나 NeXT가 표준으로 채택 MP2, MP3 압축효과가 뛰어나고, 음질도 우수 인터넷 상에서 음악을 압축하는데 많이 사용 Layer 2는 .mp2, Layer 3는 .mp3의 확장자를 갖음 46

47 vqf(plug-In) Real Audio (.ra, .rm) 일본 Yamaha사에서 만든 사운드 형식
압축율이 MP3보다 뫂고 파일 크기는 작음 MP3가 사람과 음악 정보에 포괄적으로 적용되는 압축방식을 사용하고 있으나 VQF는 음악에 대해 특화된 압축 방식을 이용 압축률은 MP3에 비해 30%이상 향상되었으나 인코딩과 디코딩은 MP3보다 시간이 많이 걸림 Real Audio (.ra, .rm) 인터넷 상에서 스트리밍 기술을 이용, 실시간에 사운드를 전송받으며 플레이할 수 있는 사운드 형식 기존의 방식은 접속시 처음의 대역폭에 따라 음질이 결정 대역폭이 동적으로 변함에 따라 음질도 동적으로 변화시키는 SureStreaming이라는 기술을 이용하여 항상 최적의 음질을 재생시켜줌 47

48 ASF(Advanced Streaming Format)
1996년 인텔이 개발한 멀티미디어 파일 형식 통합 멀티미디어 파일로 파일 안에는 오디오, 비디오, 이미지, URL, 실행 프로그램까지 포함 가능 스트리밍방식을 지원하며 56K 모뎀 정도면 부드럽게 재생 가능 48

49 5.5 입체음향 모노 사운드로부터 시작한 사운드는 이제 단순한 2D 스테레오 사운드에서 벗어나 실세계에서와 유사한 느낌을 줄 수 있는 3D사운드로 발전하고 있음 이러한 3D 사운드 기술은 영화에서는 오래 전부터 활용되어 왔고, 최근에는 컴퓨터 특히 게임 분야에서 이용하고 있음 5.5.1 개요 입체 음향은 영화나 TV, 오디오 같은 분야에서는 서라운드(Surround)라는 방식으로 제공 컴퓨터 분야에서는 한 걸음 더 나아가 사용자의 입력에 영향을 받는 즉 상호작용을 지원하는 입체 음향을 이용 49

50 돌비 서라운드(Dolby Surround)가 가장 대표적
사람이 있는 위치를 기준으로 사방에서 소리를 들려주는 방식 : 공간감, 입체감 스테레오와 마찬가지로 청취자가 음의 중심점에 있어야 입체감을 적절하게 느낄 수 있음 Surround System 50

51 (2) 입체 음향(Interactive 3D Sound)
음원이 움직이거나 청취자가 움직이면 음원과 청취자 간에 상대적인 위치가 변함 청취자와 상호작용이 가능 : 음원 또는 청취자의 작용에 따라 상대적인 위치 정보가 변함 사용자의 이동이나 반응에 따라, 또는 음원의 위치가 이동함에 따라 소리가 입체적으로 들리게 됨 상호작용이 필요한 가상 현실이나 게임에서 많이 사용 Creative사의 EAX, Aureal사의 A3D, 마이크로소프트사의 Direct 3D Sound에서 지원 51

52 5.5.2 입체음향의 원리 입체 음향(Interactive 3D Sound)이란 음원이 존재하는 공간에 직접 위치하지 않은 청취자가 재생된 음향을 들었을 때 음향으로부터 공간적 단서(방향감, 거리감 및 공간감)를 지각할 수 있는 음향을 의미 (1) 소리의 전달 경로 소리는 사람의 외부에서의 전달 경로와 내부에서의 전달 경로로 나뉨 공간 전달계(외부) : 실내의 벽이나 천장 등에 의한 반사, 회절, 산란 등의 현상 머리 전달계(내부) : 인간의 머리와 귓바퀴에 의한 반사, 회절, 공진 등의 현상 52

53 사람이 음원에 대한 공간적 단서를 지각할 수 있는 것은 머리 전달계의 고유한 특성에 의해 두 귀에 입사한 두 신호간의 차이(공간 전달계로 인해 발생된) 때문
두 귀에 전달되는 신호의 차이 53

54 ① 두 귀에 도달하는 소리의 시간차(ITD; Interaural Time Difference)
(2) 공간적 단서 ① 두 귀에 도달하는 소리의 시간차(ITD; Interaural Time Difference) 사람이 음원의 위치에 대한 방향성을 인지할 수 있는 이유는 두 귀에 들어오는 소리에 시간 차가 있기 때문 가까운 방향 쪽에 있는 귀가 먼저 그 소리를 들음으로써 음원의 방향을 알 수 있음 두 귀에 도달하는 소리의 시간차 54

55 (IID; Interaural Intensity Difference)
② 두 귀에 도달하는 소리의 세기차 (IID; Interaural Intensity Difference) 두 귀에 도달하는 소리의 세기차 사람이 음원의 위치를 느낄 수 있는 또 하나의 단서는 소리 크기에 기인 소리의 위치감과 거리감을 알 수 있음 ③ 위에서 언급한 소리의 시간차와 세기차를 이용하여 음원의 위치와 거리감을 알 수 있음 그 외에 사람의 다른 공간적 단서로는 시각적 효과, 머리의 움직임, 소리의 종류에 따른 친숙도 등이 있음 55

56 5.5.3 입체음향의 생성 방식 입체 음향은 청취자와 음원 간의 위치 정보를 이용하여 생성할 수 있음
음원과 청취자에 대한 위치의 변화에 따른 소리를 생성하기 위해서는 먼저 청취자와 음원 간의 위치를 반영한 소리를 녹음 녹음된 소리로부터 머리 전달 함수(HRTF)를 이용하여 입체 음향을 생성 특정 장소에 따른 입체 음향을 생성하기 위해서는 장소에 따른 머리 전달 함수와 공간 전달 함수를 이용 (1) 음을 녹음하는 방법 가짜 머리(Dummy head) 양쪽 귀에 마이크로 폰을 설치하고 음원을 이동시키면서 소리를 녹음하는 방식 56

57 (a) 실제 사용되는 가짜머리 (b) 개념도 입체음향과 녹음 방법 57

58 머리 전달 함수(HTRF;Head-Related Transfer Function)
(2) 입체음을 생성하는 방법 머리 전달 함수(HTRF;Head-Related Transfer Function) 무향실 내에서 가짜 머리를 이용하여 여러 각도에서 배치한 스피커에서 나오는 음들을 녹음하여 푸리에(Fourier) 변환한 것 머리 전달 함수는 소리가 들어오는 각도에 따라 달라지기 때문에 여러 위치에서 나오는 음들에 대해 머리 전달 함수를 측정하고 이를 데이터베이스로 구축 공간 전달 함수(RTF;Room Transfer Function) 특정 장소에 따른 공간의 크기, 구조, 벽 또는 천정 재질 등에 의해 음원에 대한 직접음, 초기 반사음, 잔향 패턴 및 잔향 시간 등이 달라짐 특정 장소의 효과를 생성하기 위해서는 무반향실이 아닌 특정 실내에서 머리 전달 함수를 측정해야 함 특정한 장소에서 측정한 머리 전달 함수를 공간 전달 함수라고 함 58

59 이를 이용하여 특정한 장소에 대한 가상의 음장(음원을 둘러싸고 있는 공간)을 생성할 수 있음
실제로 원하는 입체음을 생성하기 위해서는 단순음을 머리 전달 함수와 공간 전달 함수를 이용하여 변형시킴 59

60 5.5.4 발전 동향 DirectSound 3D 하드웨어 업체 마이크로소프트사에서 발표한 3D 입체음향 기술
재생되는 소리의 음량과 좌, 우로 간단히 구분되는 소리의 위치, 그리고 음의 높낮이를 실시간으로 제어 가능 8개의 8비트 웨이브 파일을 동시에 재생할 수 있고, 또한 8개의 음원의 위치에 대하여 각각의 공간 좌표 지정 가능 CPU만으로 이러한 작업을 처리하기에는 작업량이 많음 => 가속보드 필요 하드웨어 업체 Creative사에서 EAX(Environment Audio Extension) 발표 Aureal사에서 A3D 발표 두 가지 모두 위치에 따른 입체음향을 구현하며 DirectSound 3D지원 기능적인 면에서는 A3D가 약간 우세, 지원되는 소프트웨어와 사용자 면에서는 EAX가 우세함 60

61 5.6 미디(MIDI) 5.6.1 개요 미디(MIDI:Musical Instrument Digital interface)는 1983년 세계 악기 제조업체들이 미국 캘리포니아주 산호세에 모여 제정한 전자 악기와 컴퓨터 간의 상호 정보교환을 위한 규약임 미디는 직접적인 음에 대한 정보가 있는 것이 아나라 음을 어떻게 연주하라는 정보, 즉 음의 높이 및 음표의 길이, 음의 강약 등에 대한 정보를 표현함 실제 음을 듣기 위해서는 그 음을 발생시켜주는 기계(신디사이저, Synthesizer)가 필요함 이전에는 전자 악기 간의 호환이 불가능하였으나 MIDI를 이용하여 여러 전자 악기들에 대해 일관된 방식의 제어가 가능해졌고, 동시에 여러 악기들에 대한 제어가 가능해짐 61

62 5.6.2 시스템의 구성 미디 시스템의 구성 62

63 특별히 좋은 음질을 원할 경우에는 좋은 음원을 따로 두어 신디사이저와 연결하는 경우도 있음
MIDI 시스템의 흐름 음의 입력 : 신디사이저에서 음을 발생 => 미디 인터페이스 카드 => 컴퓨터로 전송 음의 처리 : 컴퓨터에서 미디 프로그램(시퀀서 등)을 이용하여 편집 음의 출력 : 컴퓨터 => 미디 인터페이스 카드 => 신디사이저 등의 미디 장치를 통해 음을 스피커로 출력(앰프를 이용하여 스피커로 출력할 수도 있음) 미디 인터페이스와 신디사이저와 같은 미디 장치들은 자료를 입력 받는 MIDI-IN단자, 처리된 자료를 출력하는 MIDI-OUT단자, 자료를 전달(bypass)시키는 MIDI-THRU단자를 가짐 특별히 좋은 음질을 원할 경우에는 좋은 음원을 따로 두어 신디사이저와 연결하는 경우도 있음 63

64 5.6.3 하드웨어 장비 (1) 신디사이저 전기적인 신호를 합성하여 음을 생성하는 장치
(1)  신디사이저 전기적인 신호를 합성하여 음을 생성하는 장치 소리를 발생시키는 음원부와 음원부를 이용하여 연주하는 건반부로 구성 음원모듈은 건반부가 없는 것을 마스터 키보드는 음원부가 없는 것을 의미 신디사이저 64

65 음을 합성하는 방법 정현파의 합성 FM 방식 정현파(sine파)를 기본으로 하여 소리를 합성하는 방식
음을 합성하는 방법  FM 방식 정현파의 합성 정현파(sine파)를 기본으로 하여 소리를 합성하는 방식 기계적이고 신비로운 음색을 잘 구현 Yamaha사의 초기의 DX 시리즈와 근래의 TG 시리즈나 MU-80 등 사운드 카드에서 사용되는 Yamaha사의 YM3812 칩은 11가지 악기음을 동시에 생성할 수 있고 모노로 출력, YM262 칩은 20여가지의 악기음을 동시에 생성하고 스테레오로 출력함 65

66 소리를 디지털로 변환하여 저장하였다가 사용하는 방식
PCM 방식 소리를 디지털로 변환하여 저장하였다가 사용하는 방식 음질은 좋으나 정보의 양이 많고, 소리의 변형이 자류롭지는 않으나 원음 재현이 뛰어남 Roland사의 SC 시리즈, JV 시리즈, Yamaha사의 AWM(Advanced Wave Memory) 방식 등이 있음 SoundBlaster에 사용되는 EMU사의 EMU8000칩은 1MB 메모리를 이용하여 32가지 음을 동시에 생성 가능하고, 2개의 스피커를 이용한 3D효과도 지원. 국내 사운드 카드인 사운드 트랙에 사용되는 프랑스의 DREAM 칩은 사운드 캔버스 음과 유사하며 동시에 8개의 wave 파일을 재생 가능 66

67 신디사이저가 각 악기 음의 대표적인 음을 갖고 있는데 반해 샘플러는 악기의 모든 음을 갖고 있음
3. AI 방식 여러 음에 걸쳐서 여러 번 샘플링한 결과를 음원 모듈로 사용 일반적인 신디사이저에서 사용하는 대표음을 녹음하는 방식은 저음부와 고음부에서 약간 차이가 있음 음을 합성할 경우에도 FM 방식 뿐 아니라 샘플링된 음도 사용하는 방식 향상된 PCM 방식과 FM 방식의 합성이라고 볼 수 있음 (2)  샘플러(Sampler) 신디사이저가 각 악기 음의 대표적인 음을 갖고 있는데 반해 샘플러는 악기의 모든 음을 갖고 있음 실제 소리를 녹음하여 악기로 변환하여 쓰거나 각종 효과음으로 활용할 수 있도록 해주는 장비 좀더 정교한 음을 사용하고자 할 때나 음원에 없는 새로운 음을 만들고자 할 때 사용 67

68 여러 개의 오디오 출력을 섞어서 하나의 출력으로 만들어 주는 역할
(3)  믹서(Mixer) 여러 개의 오디오 출력을 섞어서 하나의 출력으로 만들어 주는 역할 각 출력의 균형 등을 맞추어 주는 이퀄라이저(Equalizer)가 장착되어 있어 음악의 균형을 맞추어 녹음하고 연주하는데 많이 이용 (4)  드럼 모듈 드럼의 소리들만을 담아둔 모듈 일반 음원 모듈이나 신디사이저의 드럼 소리보다 훨씬 좋은 소리를 내장 68

69 시퀀서 프로그램이 실행되는 컴퓨터와 미디 모듈 간의 신호 체계가 다른데 이를 연결해 주는 기능을 함
(5)  MIDI 인터페이스 카드 시퀀서 프로그램이 실행되는 컴퓨터와 미디 모듈 간의 신호 체계가 다른데 이를 연결해 주는 기능을 함 Roland사의 MPU-401은 미디 초창기에 개발되어 거의 표준으로 사용되고 있음 (6)  미디 전용 케이블 (7)  앰프와 스피커 69

70 5.6.4 미디의 표준 모드 미디에는 최소한의 규정만 있을 뿐 악기 번호에 대한 것과 이펙터(음을 연주할 때 특수한 효과를 주는 것)를 조정하는 방식 등에 관한 규정이 없음 예를 들어 A라는 사람은 악기번호 1번에 바이올린을 할당하여 곡을 만들었는데 그 곡을 B라는 사람이 듣는데 B라는 사람의 환경은 악기번호 1번에 피아노가 할당되어 있다면 이상한 소리가 연주 됨 Roland사에서 GM을 좀더 확장 : GS(General Synthesizer, General Standards) Yamaha사에서 GS에 대항하기 위해 발표 : XG(eXtended General, eXtension of General MIDI) 　 70

71 5.6.5 미디의 소프트웨어 (1) 작곡용 프로그램(시퀀서,Sequencer)
음원 모듈에 어떤 악기를 얼마의 강도로 얼마나 오랫동안 소리를 내라고 명령함 미디 신호를 입출력할 수 있고, 저장되어 있는 미디 데이터를 연주, 편집하는 기능이 있음 미디 신호는 미디 메시지로 표현 미디 장치간에 음악적인 사건 정보를 전달 음악적인 사건 : 악기를 연주하면서 연주자가 취하는 동작 건반을 누르거나 건반에서 손을 떼는 등의 행동 채널 별로 송수신 되는 메시지와 미디 시스템 전체를 제어하는 시스템 메시지로 구분 71

72 CakeWalk PC로 미디 작곡이나 편곡 등을 하는데 가장 널리 사용되고 있는 프로그램
마이크로소프트 ActiveMovie지원, 실시간 음향 효과 지원, DirecSound 지원 등 강력한 미디 사운드와 웨이브 사운드 편집 기능 지원 128 트랙의 오디오를 미디와 함께 레코딩 가능하며, 24 비트의 오디오 및 96KHz 표본화율을 지원 오디오 및 미디 트랙과 함께 AVI, MPEG, QuickTime 등의 동화상을 동기화시키는 기능, 믹스 기능 제공 Cubase Logic 72

73 (2) 악보용 프로그램(Notation, Scoring 프로그램)
출판 기능 뿐 아니라 편집 기능을 제공하고 있어서 시퀀서와 더불어 많이 이용 Coda사의 Finale , Passport Design사의 Encore 등 (3) 음색편집용 프로그램(Voice Editor, Sound Editing 프로그램) 소리를 편집, 수정하는 프로그램으로 미디 음원 모듈이나 신디사이저에 있는 각종 음색과 효과음을 바꾸거나 새로 만들 때 사용하는 프로그램 오딧세이소프트(OdysseySoft)사의 Classic-B, KORG사의 X5DR 등 73