4장 사운드 처리기술 4.1 사운드의 개요 4.2 사운드의 기본 개념 4.3 사운드의 저장과 고품질화

Presentation on theme: "4장 사운드 처리기술 4.1 사운드의 개요 4.2 사운드의 기본 개념 4.3 사운드의 저장과 고품질화"— Presentation transcript:

1 4장 사운드 처리기술 4.1 사운드의 개요 4.2 사운드의 기본 개념 4.3 사운드의 저장과 고품질화
4.4 디지털 오디오 시스템 4.5 입체음향 4.6 미디(MIDI)

2 4.1 사운드의 개요 사운드의 종류 사운드의 제작 과정 사운드란? 정보 전달 시 사운드의 장점 귀로 들을 수 있는 모든 정보
음악, 음성, 음향 효과 : 단독 사용 또는 혼합 사용(멀티미디어 환경) 정보 전달 시 사운드의 장점 미디어의 상승 효과 : 시각 + 청각 미디어로 정보전달 효과 상승 동기 유발 : 시각 + 청각 미디어를 혼합하여 피 전달자의 흥미 유발

3 사운드의 종류 일반적인 분류 4.1 사운드의 개요 음성(Voice) 음악(Music) 음향효과(Sound Effect)
정보를 전달하는 주요한 수단 중 하나 텍스트보다 정보를 빠르고, 이해하기 쉽고, 설득력 있게 전달 디지털화(Digitized)된 음성과 합성(Synthesized)된 음성 음악(Music) 단독으로 음악 감상, 또는 정보전달 시 부수적 효과 제공 주로 분위기, 장면전환, 감정 등 표현 음향효과(Sound Effect) 단독으로 사용되기보다는 정보를 전달할 때 강조하거나 보조수단으로 사용 배경효과로 사용되어 상황을 좀 더 현실감 있게 전달 (비올 때, 지하철) 자연적인(Natural) 것과 합성된(Synthesized) 음향효과

4 컴퓨터에서 처리하는 방법에 따른 분류 4.1 사운드의 개요 디지털 오디오 (Digital Audio)
아날로그 형태의 사운드를 디지털화 시킨 것 원음에 충실하려면 많은 용량 필요 : 음악 CD 3분에 약 30MB 필요 사람의 목소리가 존재하거나, 디지털화된 파일을 처리 가능할 때 미디 (MIDI: Musical Instrument Digital Interface) 전자 악기와 다른 기계(컴퓨터)간에 정보를 전송하기 위한 통신 규약 실제 소리는 없이 연주 방법과 시기에 대한 정보를 가짐 3분 정도의 미디 음악을 듣기 위해서 약 8KB 필요 연주할 악기에 대한 제어가 가능하고, 좋은 음원 모듈(Sound module)을 갖고 있는 경우에 이용함

5 사운드의 제작과정 4.1 사운드의 개요 각 단계별 작업
계획(Plan) : 필요한 조건 검토, 최종 결과에서 사용될 사운드 설계 녹음(Record) : 사운드 도구로 녹음, 혹은 기존의 사운드 클립 이용 변환(Capture) : (녹음된) 아날로그 사운드를 디지털 형태로 변환 편집(Edit) : 사운드 편집 프로그램으로 편집(Edit) 또는 믹싱(Mixing) 저장(Store) : 편집이 끝난 중간 결과를 원하는 포맷으로 저장 통합(Integrate) : 저장된 사운드를 다른 프로그램과 통합 재생(Playback) : 최종결과를 재생하여 보완될 점을 수정

6 4.2 사운드의 기본개념 사운드의 기본 요소 디지털 사운드로의 변환 소리가 전달 되는 과정
음원에서 물체가 진동하면 공기압에 변화가 생기고 사운드가 생성 이 변화는 파형(waveform)의 형태로 우리 귀에 전달 사운드를 처리하는 것은 이러한 파형을 가공, 편집하는 것을 의미

7 사운드의 기본 요소 사운드 파형의 구성 소리의 3요소 4.2 사운드의 기본개념
사이클(Cycle) : 일정 시간마다 반복되는 동일한 모양 주기(Period) : 한 사이클이 걸리는 시간 어느 정도의 주기를 갖고 있는 사운드가 더 음악적으로 들림 소리의 3요소 주파수 : 음의 높낮이, Hz 진폭 : 음의 세기, dB 파형(Waveform) : 음색

8 (1) 주파수 (Frequency) 4.2 사운드의 기본개념 초당 사운드 파형의 반복 횟수
소리의 높낮이를 결정 : 주파수가 높으면 고음, 낮으면 저음 가청주파수(오디오) 20Hz~20KHz, 청각은 1K~6KHz에 제일 민감 사람이 낼 수 있는 주파수 대는 약 100Hz~6KHz 각 악기별로 주파수 대역이 다름 [참고] 주파수 대역 구분 (Hz) 3K ~ 30K 초장파 30K ~ 300K 장파 항해, 군사교신 300K ~ 3M 중파 AM 라디오 방송 (535~1605) 3M ~ 30M 단파 아마추어 무선, 운송 통신, 무선 호출 30M ~ 300M 초단파 TV (54~216M), FM 라디오 (88~108M) 300M ~ 3G 극초단파 TV (채널 14 이상), 이동전화, 레이더 3G ~ 30G 마이크로파 위성통신, 레이더, 연구용 30G 이상 밀리미터파

9 (2) 진폭 (Amplitude) 4.2 사운드의 기본개념 사운드 파형의 기준선에서 최고점까지의 거리 음의 크기와 소리의 예
소리의 크기와 관련 : 진폭이 크면 큰소리, 작으면 작은 소리 인간이 가장 편하게 들을 수 있는 소리의 범위는 0db ~ 90db　 음의 크기와 소리의 예

10 4.2 사운드의 기본개념 소리의 크기는 음압 변화의 비율로 표현
사람의 귀는 소리의 크기의 변화보다 변화의 비율(logarithm)에 영향을 받음 (1->2), (2->4)은 동일한 소리 크기 변화를 느끼지만, (1->2), (2->3)은 같은 1만큼의 변화이지만 (2->3)이 더 작은 변화인것으로 감지 소리의 크기를 표현 할 때에는 소리의 크기에 로그 값을 취한 벨(bel) 로 표현하고, 사용 시에는 bel 값을 10배 한 decibel(dB)을 사용 기준 음압을 P0 ( µbar), 현재 음압을 P라 하면, 음압 레벨 (dB) = 10 x 2 log (P/P0)

11 (3) 음색 (Tone Color) 4.2 사운드의 기본개념 음의 높이와 크기가 같아도 악기마다 고유한 특징 => 음색
고유한 파형 => 기본파 + 고조파

12 디지털 사운드로의 변환 4.2 사운드의 기본개념 컴퓨터 처리를 위해 아날로그/디지털 형태 간의 변환 디지털 변환 과정
ADC(Analog-to-Digital Converter) DAC(Digital-to-Analog Converter) 디지털 변환 과정 표본화, 양자화, 부호화 과정 필요 아날로그 신호와 디지털 신호 간의 변환 과정

13 (1) 표본화(Sampling) 4.2 사운드의 기본개념 아날로그 파형을 디지털 형태로 변환하기 위해 표본을 취하는 것
표본화율(Sampling Rate) 1초 동안에 취한 표본 수 (디지털화하는 횟수) (단위: Hz) 표본화율이 높을수록 원음을 잘 표현할 수 있으나 데이터 공간은 증가

14 나이키스트 정리(Nyquist theorem)
4.2 사운드의 기본개념 나이키스트 정리(Nyquist theorem) 표본화 시 원음을 그대로 반영하기 위해서는 원음이 가지는 최고 주파수의 2배 이상으로 표본화 해야 한다. 음악 CD인 경우 표본화 율이 44.1KHz이고 여기서 재생할 수 있는 최고 주파수는 22.05KHz임(사람의 귀는 20KHz 이상의 사운드는 감지할 수 없음)

15 (2) 양자화 (Quantizing) 4.2 사운드의 기본개념 어느 정도의 정밀도로 표현할 것인지 음의 해상도
표본화된 각 점에서 값을 표현하기 위해 사용되는 비트 수 음의 해상도 표본화하는 정밀도 (Sampling Resolution, Sampling Size) 8 bit로 양자화를 하면 값을 256(28) 단계로 표현할 수 있지만, 음악 CD와 같이 16bit로 양자화를 하면 좀 더 세밀한 65,536(216) 단계로 값을 표현할 수 있음 (a) 2 bit 양자화 (4단계) (b) 3 bit 양자화 (8단계) (c) 4 bit 양자화 (16단계)

16 (3) 부호화 (Coding) 4.2 사운드의 기본개념 표본화 및 양자화 정도에 따른 비교
(a) 원래의 파형 (b) 낮은 표본화와 양자화 (c) 높은 표본화와 양자화 (3) 부호화 (Coding) 표본화와 양자화를 거친 디지털 정보를 표현하는 과정 사운드 파일은 크기 때문에 일반적으로 부호화 과정에서 압축하여 저장

17 4.2 사운드의 기본개념 디지털 사운드 파일의 크기 및 음질의 비교 표본화율 (KHz) 양자화 정밀도 (bit) 모드
KHz × 8 bits × 1(mono) × 60 sec / 8 = 약 650 KBytes … 44.1 KHz × 16 bits × 2(stereo) × 60 sec / 8*1024 = 약 10.5 MBytes 표본화율 (KHz) 양자화 정밀도 (bit) 모드 데이터 크기 (1분당) 음질 sample (voice) sample (music) 11.025 8 mono 650 KB 전화           22.05 1.3 MB AM Radio 44.1 2.6 MB 16 stereo 5.25 MB FM Radio 10.5 MB CD

18 4.3 사운드의 저장과 고품질화 디지털 사운드 파형의 저장 방식 디지털 사운드 파일의 크기 고품질 사운드의 획득

19 디지털 파형의 저장 방식 아날로그 사운드 부호화 방식 4.3 사운드의 저장과 고품질화
PCM 방식 → 파일의 크기가 큼 ADPCM 방식 주로 사용 (1) PCM 방법(Pulse Coded Modulation) 입력된 값 그대로를 기록하는 방법 압축을 하지 않기 때문에 용량이 큼 CD나 DAT(Digital Audio Tape) 등에서 사용 PCM 방식 ADPCM 방식

20 디지털 파형의 저장 방식 4.3 사운드의 저장과 고품질화
(2) ADPCM 방법(Adaptive Differential Pulse Coded Modulation) IMA(International Multimedia Association)에서 제안 표본화 된 신호의 차이를 저장하는 방식 차이만 저장하는 방식은 DPCM(Differential Pulse Coded Modulation)이라고 함 DPCM은 인접한 값과의 차이가 크면 비효율적 ADPCM DPCM에서 인접한 값과의 차이가 크면 진폭을 나누는 단계를 크게 하고, 차이가 작으면 진폭을 나누는 단계를 작게하여 가변적으로 차이를 정밀하게 저장 기본적으로 PCM 방법으로 기록한 것과 내용이 같으나 데이터 압축에 의한 값을 기록하므로 최대 4:1 까지 압축 가능 멀티미디어 협회에서 기본적인 알고리즘을 정의하였으나, 업체마다 다르게 구현하여 상호 호환성이 없음

21 압축 알고리즘 (정리) 예측 코딩(Predictive Coding) 차이 PCM(DPCM: Differential PCM)
4.3 사운드의 저장과 고품질화 압축 알고리즘 (정리) 예측 코딩(Predictive Coding) 가정 : 정보의 흐름에 있어서, 다음에 나타날 정보는 바로 직전에 나타난 정보와 크게 다르지 않다 이전 정보와 차이 정보를 가지고 다음 정보를 생성 예측 코딩 기법의 예 차이 PCM(DPCM: Differential PCM) 적응적 차이 PCM(ADPCM: Adaptive DPCM) 델타 변조 방식(DM: Delta Modulation) 적응적 DM(ADM : Adaptive DM)

22 압축 알고리즘 (정리) 4.3 사운드의 저장과 고품질화 DPCM 직전의 예측값을 이용하여 지금 인코딩하려는 정보를 예측
실제 정보의 값과 예측값 사이의 차이 정보를 생성 및 출력 데이터의 복원은 예측을 통해 이루어지며 예측에 의한 오류는 인코딩된 정보를 이용하여 보정됨 기울기 과부화(slope overload) 문제 발생 예측한 값과 원래 신호의 값의 차이가 DPCM에서 생성하는 오류 정보의 최대치를 넘어서는 경우 (예, -17 이하이거나, +16 이상인 경우), 오류 보정 정보의 부정확성때문에 데이터의 정확한 복원이 불가능한 경우 실제 정보의 값과 예측값을 비교 인코딩하려는 정보 오류 보정 정보 (실제 정보의 값 – 예측값) 다음 정보의 값을 예측 (기존 예측값 + 오류 보정 정보) 예측값 DPCM을 이용한 인코딩

23 4.3 사운드의 저장과 고품질화 압축 알고리즘 (정리) ADPCM 출력되는 오류 보정 정보(차이 정보)의 크기가 출력 표현 한계를 넘어 서는 경우, 출력 정보의 스케일(scale)이 적응적으로 변화함 DPCM의 기울기 과부하문제를 해결

24 ADPCM 코딩을 이용한 기울기 과부하의 해결
4.3 사운드의 저장과 고품질화 압축 알고리즘 (정리) DPCM과 ADPCM의 예 8비트 데이터를 5비트 오류 보정 정보로 생성하는 경우 16 40 89 75 24 32 66 19 +15 -16 -12 15 30 45 60 44 47 31 +12 +1 +2 +8 -11 39 69 73 25 33 65 21 원래 데이터 DPCM으로 인코딩하고 디코딩한 데이터 ADPCM으로 인코딩하고 디코딩한 데이터 x 2 x 2 x 4 x 4 x 4 x 4 x 4 : 스케일 변화 정보 (ADPCM) ADPCM 코딩을 이용한 기울기 과부하의 해결

25 파일의 크기 4.3 사운드의 저장과 고품질화 = 표본화율 x 해상도 x 모드(mono=1, stereo=2) x 시간(초)
1분 길이의 음악 CD = (Hz) x 16 (bit) x 2 (stereo) x 60 (초) = 84,672,000 bit = 10,584,000 byte = 10.6 MB CD 한 장의 용량이 650MB이므로 그 안에는 약 10곡에서 15곡의 음악이 저장 가능

26 고품질 사운드의 획득 4.3 사운드의 저장과 고품질화 1. 사운드를 어디에 사용할 것인지를 고려하여 표본화율과 해상도를 결정
2. 아날로그 신호가 들어오면, 먼저 표본화율(Sampling Rate)보다 높은 고주파 성분을 제거 전처리 필터(Prefilter: Low-pass filter)를 통해 표본화율의 1/2보다 높은 고주파 성분을 제거 3. ADC(Analog-Digital-Converter)에 의해 표본화, 양자화 과정을 거쳐 디지털 신호로 변환, 부호화 4. 부호화된 디지털(bit stream) 정보를 DSP(Digital Signal Processor)에서 원하는 목적에 맞게 편집, 가공, 저장

27 4.3 사운드의 저장과 고품질화 5. 출력시에 DAC(Digital-Analog-Converter)를 거쳐서 아날로그 파형으로 변환. 이 때 가청 주파수보다 높은 고주파 성분 발생 6. 고주파 성분을 제거 시키기 위해 후처리 필터(Postfilter: Low-pass filter)를 통과시켜 최종적인 아날로그 신호로 변환 아날로그 파형의 디지털 과정

28 4.4 디지털 오디오 시스템 사운드처리 하드웨어 사운드처리 소프트웨어 디지털 사운드의 압축방식 디지털 사운드의 파일 포맷

29 사운드처리 하드웨어 사운드 카드 (오디오 인터페이스 카드) 4.4 디지털 오디오 시스템 주요기능 주요제품
입력: 아날로그 파장의 사운드를 디지털 형태로 변환 (ADC) 출력 : 디지털 형태의 데이터를 아날로그 파장으로 변환 (DAC) 음원칩 : 미디 지원 DSP(Digital Signal Processing) 칩: 데이터의 가공, 편집 주요제품 최초의 PC용 사운드 카드 : 1987년 캐나다의 Adlib사의 Adlib Yamaha 사의 YM-3812 음원 칩 사용, FM 음원 사용 Creative사에서 SoundBlaster카드 발표 실질적인 사운드 카드의 표준, PCM 방식

30 사운드처리 하드웨어 FM 음원칩 vs PCM 음원칩 4.4 디지털 오디오 시스템 FM 방식 PCM 방식
기본음을 합성하여 새로운 음을 생성 저장 효율이 좋음 실제 음과는 많은 차이가 있음 Adlib카드, 야마하 사운드칩(YM3812) 에서 사용 PCM 방식 음의 소리가 원음에 가까움 각 악기 음을 전부 저장하기 때문에 저장 효율이 떨어짐 필요시 음이 녹음되어 있는 메모리(음원) 추가 가능

31 앰프와 스피커 4.4 디지털 오디오 시스템 사운드의 품질은 스피커의 영향이 제일 크다.
앰프 : 스피커를 위해 양질의 사운드 파형으로 증폭 돌비 서라운드 (Dolby Surround) 5.1 채널 스피커 5개 + 저음부를 위한 우퍼(Woofer)

32 사운드처리 소프트 웨어 사운드 편집 소프트웨어 재생 프로그램 4.4 디지털 오디오 시스템
기능 : 사운드의 캡쳐 및 편집, 가공, 트랙 편집 등 GoldWave 거의 모든 사운드포맷 지원 MP3, Unix용 사운드포맷 등 Audition(Cool Edit Pro) 재생 프로그램 오디오 CD, MP3 파일 Winamp Nullsoft 사에서 만든 현재 가장 많이 사용되는 재생 프로그램

33 디지털 사운드의 압축방식 ADPCM A-law, µ-law 4.4 디지털 오디오 시스템
이론적으로는 표준화되어 있지만, 여러가지 알고리즘이 실제로 사용되어 각자 방식간 호환성이 없음 ITU-T에서 ADPCM 방식으로 32Kbps에서 음성을 전송하기 위한 방식으로 G.721을 제정 G.721은 각 표본화 값의 차이를 4bit로 표현, 표본화율은 8KHz 개량 방식인 G.722는 48, 56, 64 Kbps에서 전송, 16KHz의 표본화율 A-law, µ-law 음성통신을 목적으로 정한 압축방식으로 미국, 캐나다, 일본에서 사용되는 µ-law 방식과 유럽 및 그 외의 나라에서 A-law 방식 사람이 대화시 큰 소리의 변화보다는 작은 소리의 변화를 잘 감지 => 작은 소리에 많은 양자화 비트를 할당하는 비균일코딩(Non-uniform Coding)

34 MP3 또는 MPEG Layer 3 4.4 디지털 오디오 시스템
동화상 압축 표준인 MPEG(Moving Picture Expert Group)에서 오디오 부분의 압축을 의미 PCM 관련의 압축 방식과 다른 손실 압축(Lossy Compression) MPEG-1의 오디오 부분의 Layer 3를 MP3라는 이름으로 사용 MPEG-2의 오디오 부분은 AAC(Advanced Audio Coding)라고 하여 사용 음성 심리학적인 방법인 마스킹(Masking) 효과를 이용 해당 밴드별 가장 큰 음을 대표음으로 선택하고, 대표음의 마스킹으로 인하여 가려지는 음은 삭제하는 방식으로 데이터 압축

35 디지털 사운드의 파일포맷 앞에서 설명한 압축방식을 이용하여 실제 파일포맷으로 저장 3가지 파일포맷으로 분류
4.4 디지털 오디오 시스템 디지털 사운드의 파일포맷 앞에서 설명한 압축방식을 이용하여 실제 파일포맷으로 저장 3가지 파일포맷으로 분류 Uncompressed audio format; PCM 방식 WAV(Windows), AIFF(Mac OS), Au Lossless compression: 평균 2:1 정도의 압축율 FLAC(Free Lossless Audio Codec), WMA(Windows), TTA(Apple) Lossy compression MP3, Lossy WMA, AAC

36 디지털 사운드의 파일포맷 Wav Au MP2, MP3, AAC 4.4 디지털 오디오 시스템
Microsoft 와 IBM 이 PC의 사운드 표준 형식으로 공동 개발 Windows 기반 PC에서 주로 사용 Au 유닉스 환경에서 사용되는 가장 일반적인 포맷 Sun이나 NeXT에서 사운드 표준 MP2, MP3, AAC ISO 국제 표준으로 압축효과가 뛰어나고, 음질도 우수 인터넷 상에서 음악을 압축하는데 많이 사용 MPEG-1의 오디오 Layer 2 및 Layer 3, 확장자는 .mp2 및 .mp3 MPEG-2의 오디오 부분 압축 형식인 AAC는 높은 압축율과 우수한 음질 지원

37 ASF(Advanced Streaming Format)
4.4 디지털 오디오 시스템 Real Audio (.ra, .rm) RealNetworks 사에서 개발, 인터넷에서 스트리밍 기술로 실시간 사운드 전송 SureStreaming이라는 기술로 항상 최적의 음질을 재생 접속시 대역폭이 동적으로 변함에 따라 음질도 동적으로 변화 ASF(Advanced Streaming Format) INTEL사가 개발한 멀티미디어 파일 형식, 스트리밍 방식 통합 멀티미디어 파일: 오디오, 비디오, 이미지, 프로그램도 포함 WMA (Windows Media Audio) Microsoft사가 개발한 스트리밍 방식의 오디오 파일 형식 비디오 파일은 WMV

38 4.5 입체음향 입체음향 기술 입체음향의 원리 입체음향의 생성 방식 모노 사운드에서 2D 스테레오를 벗어나 3D 사운드로 발전
컴퓨터 게임, 영화 및 컴퓨터 분야에서 활용

39 입체음향 기술 서라운드 (Surround) 4.5 입체음향 돌비 서라운드(Dolby Surround)가 가장 대표적
사람이 있는 위치를 기준으로 사방에서 소리를 들려주는 방식 공간감, 입체감 3 채널, 4.1채널, 5.1채널 등이 있음 0.1은 중저음을 보강하는 서브우퍼 (Subwoofer)를 의미 스테레오와 마찬가지로 청취자가 음의 중심점에 있어야 입체감을 적절하게 느낄 수 있음 Surround System (5.1채널)

40 3D 입체 음향(Interactive 3D Sound)
4.5 입체음향 3D 입체 음향(Interactive 3D Sound) [음향세계 혁명] 음원과 청취자 간에 상대적인 위치를 계산하여 사운드를 출력 청취자와 상호작용이 가능 사용자의 이동이나 반응, 또는 음원의 이동에 따라 소리를 입체적으로 청취 상호작용이 필요한 가상 현실이나 게임에서 많이 사용 Creative사의 EAX(Environment Audio Extension), Aureal사의 A3D, 마이크로소프트사의 Direct 3D Sound에서 지원 기능적인 측면에서는 A3D가 약간 우세, 지원되는 SW와 사용자 측면에서는 EAX가 우세

41 입체음향의 원리 4.5 입체음향 입체음향(Interactive 3D Sound): 소리의 전달 경로 음원에 대한 공간적 단서
재생된 음향을 들었을 때 음향으로부터 공간적 단서(방향감, 거리감, 공간감)를 지각할 수 있는 음향 소리의 전달 경로 공간 전달계(외부) : 실내의 벽이나 천장 등에서 전달 머리 전달계(내부) : 인간의 머리와 귓바퀴에서 전달 음원에 대한 공간적 단서 두 귀에 들어오는 두 신호간의 차이 (공간 전달계로 인해 발생된) 때문

42 공간적 단서 4.5 입체음향 두 귀에 도달하는 소리의 시간차(IDA: Interaural Time Difference)
가까운 방향 쪽에 있는 귀가 먼저 그 소리를 들음 두 귀에 도달하는 소리의 세기차(IID: Interaural Intensity Difference) 가까이에서 들리는 음의 크기가 더 큼 그 외 시각적 효과, 머리의 움직임, 소리의 종류에 따른 친숙도 등 소리의 시간차 소리의 세기차

43 입체음향의 생성 방식 4.5 입체음향 입체 음향은 청취자와 음원 간의 위치 정보를 이용하여 생성할 수 있음
음원과 청취자에 대한 위치의 변화에 따른 소리를 생성하기 위해서는 먼저 청취자와 음원 간의 위치를 반영한 소리를 녹음 이러한 음원과 청취자의 위치에 따른 소리를 녹음하는 방법으로 주로 가짜 머리(Dummy Head) 이용 방법 사용 녹음된 소리로부터 머리 전달함수(HRTF)를 이용하여 입체 음향을 생성 특정 장소에 따른 입체 음향을 생성하기 위해서는 장소에 따른 머리 전달함수(HRTF)와 공간 전달함수(RTF)를 이용

44 4.5 입체음향 (1) 음을 녹음하는 방법 가짜 머리(Dummy head) 양쪽 귀에 마이크로폰을 설치하고 음원을 이동시키면서 소리를 녹음하는 방식 주로 청각능력이 뛰어난 음악가나 표준치의 머리모형인 가짜머리에 장착한 마이크로폰을 통하여 바이오럴(Biaural) 신호를 녹음하는 방식 이용 실제 사용되는 가짜머리 입체음향의 개념도

45 입체음향의 생성 방식 (2) 입체음을 생성하는 방법
4.5 입체음향 입체음향의 생성 방식 (2) 입체음을 생성하는 방법 머리 전달함수(HRTF: Head-Related Transfer Function) 무반향실 내에서 가짜 머리를 이용하여 여러 각도에서 배치한 스피커에서 나오는 음들을 녹음하여 푸리에(Fourier) 변환한 것 머리 전달 함수는 소리가 들어오는 각도에 따라 달라지기 때문에 여러 위치에서 나오는 음들에 대해 머리 전달 함수를 측정하고 이를 DB로 구축

46 공간 전달함수(RTF: Room Transfer Function)
4.5 입체음향 공간 전달함수(RTF: Room Transfer Function) 특정 장소에 따른 공간의 크기, 구조, 벽 또는 천정 재질 등에 의해 음원에 대한 직접음, 초기 반사음, 잔향 패턴 및 잔향 시간 등이 달라짐 특정 장소의 효과를 생성하기 위해서는 무반향실이 아닌 특정 실내에서 머리 전달 함수를 측정해야 함 특정한 장소에서 측정한 머리 전달함수를 공간 전달 함수라고 함 이를 이용하여 특정한 장소에 대한 가상의 음장(음원을 둘러싸고 있는 공간)을 생성할 수 있음 실제로 원하는 입체음을 생성하기 위해서는 단순음을 머리 전달함수와 공간 전달함수를 이용하여 변형시킴

47 4.6 미디(MIDI) 미디시스템의 구성 미디 하드웨어 장치 미디의 표준모드 미디 소프트웨어 [시연] 제 목 크기(KB)
시 간 엘리제를 위하여 17 2분 38초 Dancing Queen 78 3분 57초 007 주제가 46 1분 52초 Starwars 32 3분 19초 Calvary's Love 40 3분 29초

48 개요 미디(MIDI: Musical Instrument Digital interface) 4.6 미디(MIDI)
1983년 세계 악기 제조업체들이 제정 전자 악기와 컴퓨터 간의 상호 정보교환을 위한 표준 규약 직접적인 음에 대한 정보가 있는 것이 아니라 음을 어떻게 연주하라는 정보를 표현함: 음의 높이, 음표의 길이, 음의 강약 등 MIDI를 이용하여 전자 악기 간의 일관된 방식의 제어가 가능 MIDI 시스템은 HW인 미디장치와 HW간의 통신을 정의하는 미디 메시지로 구성 미디 메시지를 생성시켜 미디장치의 제어를 쉽게 하기 위해서, 일반적으로 미디프로그램을 사용함 음을 들으려면, 신디사이저(Synthesizer) : 음을 발생시켜주는 기계 시퀀서(Sequencer) : 생성된 음의 편집 및 수정

49 미디시스템의 구성 4.6 미디(MIDI) 처리 과정 미디 인터페이스
음의 입력 : 미디 장치에서 음을 발생 ⇒ 미디 인터페이스 카드 ⇒ 컴퓨터로 전송 음의 처리 : 컴퓨터에서 미디 프로그램(시퀀서 등)으로 편집 음의 출력 : 컴퓨터 ⇒ 미디 인터페이스 카드 ⇒ 신디사이저 등의 미디 장치를 통해 스피커로 출력 미디 인터페이스 MIDI-IN 단자, MIDI-OUT 단자, MIDI-THRU 단자

50 미디 하드웨어 장치 4.6 미디(MIDI) 신디사이저(Synthesizer) 샘플러(Sampler) 믹서(Mixer)
전기적인 신호를 합성하여 음을 생성하는 장치 음원부(음원모듈) : 소리를 발생시킴 건반부 (마스터 키보드) : 음원부를 이용하여 연주 샘플러(Sampler) 신디사이저는 악기의 대표 음을, 샘플러는 악기의 모든 음을 보유 더 정교한 음 또는 음원에 없는 새로운 음을 만들고자 할 때 사용 실제 소리를 녹음하여 악기로 변환하거나 각종 효과음으로 활용 믹서(Mixer) 여러 개의 오디오 출력을 섞어서 하나의 출력으로 생성 각 출력의 균형 등을 맞추어 주는 이퀄라이저(Equalizer)가 장착 음악의 균형을 맞추어 녹음하고 연주하는데 많이 이용

51 4.6 미디(MIDI) MIDI 인터페이스 카드 미디 전용 케이블 앰프와 스피커 시퀀서 프로그램이 실행되는
컴퓨터와 미디 모듈 간의 다른 신호 체계를 연결(번역)하며 16/32/64/128채널 등 미디 전용 케이블 동축 케이블 형태, 둥근모양 5핀 앰프와 스피커 음의 출력장치

52 4.6 미디(MIDI) 미디의 표준모드 미디에는 최소한의 규정만 있을 뿐 악기 번호에 대한 것과 이펙터(음을 연주할 때 특수한 효과를 주는 것)를 조정하는 방식 등에 관한 규정이 없음 예를 들어 A라는 사람은 악기번호 1번에 바이올린을 할당하여 곡을 만들었는데 그 곡을 B라는 사람이 듣는데 B라는 사람의 환경은 악기번호 1번에 피아노가 할당되어 있다면 이상한 소리가 연주 됨 MIDI 악기 제조업체들의 모임인 JMSC와 MMA에서 채널벌로 악기를 할당하는 방식을 규정  GM(General MIDI) Roland사에서 GM을 좀 더 확장 : GS (General Synthesizer, General Standards) Yamaha사에서 GS에 대항하기 위해 발표 : XG (eXtended General, eXtension of General MIDI) 미디파일(*.mid)은 단지 외부 기기에 대한 제어신호만을 포함하고, 실제 연주되는 소리는 신디사이저에 의해 생성됨

53 미디 소프트웨어 4.6 미디(MIDI) 작곡용 프로그램(시퀀서,Sequencer)
미디 신호를 입출력, 미디 파일 저장, 미디 데이터를 연주, 편집 CakeWalk : PC용, 널리 사용 악보용 프로그램(Notation, Scoring 프로그램) 악보의 편집 및 출력 Coda사의 Finale, Passport Design사의 Encore 등 음색 편집용 프로그램(Voice Editor, Sound Editor) 소리의 편집 및 수정, 음원 모듈이나 각종 음색의 수정

54 과제 #2 음악이 포함된 자기 소개 사운드(2분 이내)를 마이크를 사용하여 캡쳐한 .wav 파일을 기준으로 하여
적절한 코덱을 사용하여 mp3, ogg, mp4, AVI 등 파일로 상호변환 각 변환된 형식별로 file size, audio quality, 압축비율 등을 상호비교 변환 코덱 및 과정을 설명하면 더 좋을 듯 ~ 자기 얼굴이 포함된 사진을 기준으로 JPEG, GIF, BMP 파일호 상호변환한후 각 변환된 형식별로 file size, video quality, 압축비율 등을 상호비교