9장 사운드 9.1 사운드의 본질 9.2 사운드의 디지타이징 9.3 사운드 처리 9.4 압축 9.5 파일 형식 9.6 MIDI

Presentation on theme: "9장 사운드 9.1 사운드의 본질 9.2 사운드의 디지타이징 9.3 사운드 처리 9.4 압축 9.5 파일 형식 9.6 MIDI"— Presentation transcript:

1 9장 사운드 9.1 사운드의 본질 9.2 사운드의 디지타이징 9.3 사운드 처리 9.4 압축 9.5 파일 형식 9.6 MIDI
멀티미디어시스템 2015-1학기

2 사운드의 본질 에너지를 공기 중의 진동으로 변환 (또는 다른 어떤 탄력 있는 매체에서)
에너지를 공기 중의 진동으로 변환 (또는 다른 어떤 탄력 있는 매체에서) 대부분의 음원은 복잡한 방법으로 진동하여,여러 개 의 다른 주파수 성분을 가진 소리를 만듦. 주파수 스펙트럼(Frequency spectrum) – 주파수 성분들 의 상대적인 진폭 사람의 가청 주파수 : 대략 20Hz–20kHz, 나이가 들수록 줄어 듬. 멀티미디어시스템 2015-1학기

3 파형(Waveform) 소리는 시간이 경과함에 따라 변화 주파수 스펙트럼은 사운드가 변함에 따라 달라짐.
즉, 건반의 키를 친 후에는 소리가 사라지며, 사람의 말은 지속적으로 변화함. 주파수 스펙트럼은 사운드가 변함에 따라 달라짐. 파형(Waveform) 은 시간에 따른 진폭을 그린 것 변화하는 사운드의 특성을 그래픽적으로 보여줌. 음성의 음절이나, 음악의 리듬, 조용하거나 시끄러운 이야 기를 식별할 수 있음. 멀티미디어시스템 2015-1학기

4 디지타이즈 – 샘플링 샘플링 이론에서, 최대 가청 주파수까지를 재생하기 위해서는 최소한 40kHz 로 샘플링 해야 함.
CD: 44.1kHz 낮은 대역을 위해서, 종종 이 주파수를 정수로 나눈 값 사용 – 즉, kHz (인터넷 오디오) DAT: 48kHz (따라서, CD 와 DAT 의 사운드를 혼합하려면 재 샘플링이 필요함. 피하는 것이 좋음.) 멀티미디어시스템 2015-1학기

5 디지타이즈 – 양자화 16 비트 : 65536 양자화 레벨, CD 품질
8 비트: 가청 양자화 잡음, 어느 정도 왜곡이 허용되는 경우에만 사용, 즉, 음성 통신 디더링(Dithering) – 샘플링 전에 소량의 랜덤 잡음 을 야기함. 잡음은 샘플들을 양자화 레벨 사이에서 급격히 변하게 하 므로, 날카로운 변이를 효과적으로 부드럽게 함. 멀티미디어시스템 2015-1학기

6 언더샘플링과 디더링 멀티미디어시스템 2015-1학기

7 데이터 크기 샘플링 율 r 은 초당 샘플들의 수 샘플 크기 s 비트 매 초, 디지타이즈 된 오디오 데이터는 rs/8 바이트
CD 음질: r = 44100, s = 16, 따라서 매 초 86 k바이트 (k=1024) 이상, 매 분 대략 5M바이트 (모노) 멀티미디어시스템 2015-1학기

8 클리핑(Clipping) 만약 녹음 레벨을 너무 높게 설정하면, 신호의 진폭이 녹음할 수 있는 최대 진폭을 초과하게 되어, 불쾌한 왜 곡이 생김. 그러나 너무 낮게 레벨을 설정하면, 변할 수 있는 범위 가 제한됨. 멀티미디어시스템 2015-1학기

9 사운드 편집 시간선(Timeline)을 나눈 것이 트랙(track) 각 트랙에 있는 사운드는 파형으로 디스플레이 됨
정지된 부분을 찾기 위해 트랙의 일부분을 제거 자르고, 붙이고, 끌어오고 버림 녹음된 다른 것들과 여러 트랙들을 혼합 가능(믹싱) 멀티미디어시스템 2015-1학기

10 효과(Effect)와 필터(Filter)
잡음 게이트(gate): 배경 잡음 제거 저역 통과, 고역 통과 필터: 높은 주파수 제거와 낮은 주파수 제거 노치(Notch) 필터: 단일의 협대역 주파수 제거 반향(Reverb): 시간적으로 지연된 희미한 소리 그래픽 이퀄라이저(Graphic equalizer): 필터를 이용하 여 사운드 주파수를 변경 피치 변경과 시간 늘림: 시간 늘림으로 피치 변경, 시간 늘림은 비디오나 다른 사운드와 동기화할 때 사용 멀티미디어시스템 2015-1학기

11 압축 일반적으로, 오디오 데이터의 복잡하고 예측할 수 없 는 본질 때문에, 손실기법이 요구됨.
CD 품질, 스테레오, 3분 동안의 노래는 25 M바이트 이 상의 크기 이는, 다이얼 –업 인터넷 접속의 대역폭을 초과하는 크기 의 데이터 율임. 사운드와 이미지를 사람들이 인지하는 방식이 다르므 로, 이미지 압축과는 다른 접근 방식이 요구됨. 멀티미디어시스템 2015-1학기

12 압축확장(Companding) 비선형 양자화 더 높은 양자화 레벨은 낮 은 것에 비해 간격이 더 벌어짐.
더 높은 양자화 레벨은 낮 은 것에 비해 간격이 더 벌어짐. 조용한 사운드는 큰 소리 에 비해 더 자세하게 표현 됨. 뮤-법칙, A-법칙 멀티미디어시스템 2015-1학기

13 ADPCM Differential Pulse Code Modulation
비디오의 인터-프레임 압축과 유사 다음 번 샘플에 대한 예측된 값을 계산하고, 실제 값과 예 측 값의 차이를 저장함. Adaptive Differential Pulse Code Modulation 양자화된 차이를 저장하는데 사용되는, 스텝 사이즈가 동 적으로 달라짐. 멀티미디어시스템 2015-1학기

14 인지기반(Perceptually-Based) 압축
신호를 인지하는데 영향을 주지 않는 데이터를 식별하여 버림. 심리 음향 모델(psycho-acoustical model)이 필요함. 왜 냐하면, 사람의 귀와 뇌는 소리 파형에 단순하게 반 응하지 않으므로. 듣기 경계선(Threshold of hearing) – 너무 조용하 여 듣기 힘든 소리 마스킹(Masking) – 다른 어떤 소리에 의해 소리 가 모호하게 되는 것 멀티미디어시스템 2015-1학기

15 듣기 경계선 멀티미디어시스템 2015-1학기

16 마스킹(Masking) 멀티미디어시스템 2015-1학기

17 압축 알고리즘 필터를 사용하여 신호를 주파수 밴드로 분리
보통은, 32개 밴드를 사용함. 각 밴드에 대한 마스킹 레벨(masking level)을 계산 함.(그들의 평균값과 심리음향 모델에 기반하여) 즉, 각 밴드에 대한 한 개의 값으로 대략적인 마스킹 커브 마스킹 레벨보다 낮은 신호는 버림. 그렇지 않으면, 양자화 잡음을 마스크하는 최소의 비 트를 사용하여 양자화 함. 멀티미디어시스템 2015-1학기

18 MP3 MPEG 오디오, 레이어 3 MPEG-1에서 오디오 압축을 위한 3개의 레이어들 (MPEG-2 도 본질적으로 동일)
레이어 1...레이어 3, 순으로 인코딩 처리의 복잡도가 증가, 동일한 품질에 대한 데이터 율은 감소 즉, 동일한 품질이 레이어 1은 192kbps, 레이어 2는 128kbps, 레이어 3은 64kbps 고품질의 압축비 10:1 가변 비트율 코딩(VBR) 멀티미디어시스템 2015-1학기

19 AAC Advanced Audio Coding MPEG-2 표준에서 정의, 확장하여 MPEG-4 에 통합
이전의 표준들과 호환되지 않음 MP3에 비해 더 높은 압축비와 낮은 비트율 같은 비트율에서 MP3 보다 더 좋은 품질 멀티미디어시스템 2015-1학기

20 오디오 포맷 플랫폼에 특정한 파일 포맷들 AIFF, WAV, AU 서로 다른 코덱으로 압축된 사운드에 대하여, ‘컨테이 너 포맷’('container formats‘)이라 부르는 멀티미디어 포맷 사용 QuickTime, Windows Media, RealAudio MP3 는 자신만의 파일 포맷 가짐. 그러나 MP3 데이터 는 QuickTime 무비와 SWF에 오디오 트랙으로 포함될 수 있다. 멀티미디어시스템 2015-1학기

21 MIDI Musical Instruments Digital Interface
노래를 만드는 것에 관련된 명령어들. 적절한 H/W 또 는 S/W 에 의해 해석됨. 참고 : 벡터 그래픽을 위한 드로잉 명령어들 전자 악기들 사이의 통신을 위한 표준 프로토콜 (신디 사이저, 샘플러, 드럼 기계들) 하드웨어 또는 소프트웨어 시퀀서(sequencer)에 의해 악기들이 제어되게 함. 시퀀서는 음악을 녹음, 편집, 재생하는 어플리케이션 HW 혹은 SW 멀티미디어시스템 2015-1학기

22 MIDI 와 컴퓨터 MIDI 인터페이스는 컴퓨터로 하여금 MIDI 데이터를 악기 쪽으로 보내게 함.
Store MIDI 시퀀스들을 파일로 저장하고, 컴퓨터들 사 이에서 서로 교환 컴퓨터의 사운드 카드가 사운드를 합성하거나, MIDI 명령어들에 의해 디스크로 부터 샘플들을 재생함. 컴퓨터는 기본적인 악기이다.(전용의 악기보다는 음질이 떨어지는) 멀티미디어시스템 2015-1학기

23 MIDI 메시지 악기 성능의 어떤 면을 제어하기 위한 명령어들 상태 바이트(Status byte) – 메시지의 타입을 나타냄.
2 개의 데이터 바이트(data byte) – 파라미터의 값 즉, Note On + note 숫자 (0..127) + 키 속도 실행 상태(Running status) – 이전의 상태 바이트와 같 으면 상태 바이트를 생략함. 멀티미디어시스템 2015-1학기

24 범용(General) MIDI 신디사이저와 샘플러는 다양한 음색(voices)을 제공.
신디사이저(Synthesizer)는 다양한 사운드를 내는 전자 음 악 악기 샘플러(Sampler)는 사운드 샘플을 이용하여 사운드를 내 는 전자 음악 악기 MIDI Program Change 메시지는 새로운 음색을 선택함. 그러나 이 값을 음색으로 매핑하는 것은 MIDI 표준에 정의되어 있지 않음. General MIDI (표준의 부록)는 Program Change 값에 대 한 128개의 표준 음색을 규정함. 실제로는 GM(General MIDI)에서 음색 이름(names)을 규정 하였지만, 서로 다른 악기들이 동일한 사운드를 재생하는 것을 보장하지는 못함. 멀티미디어시스템 2015-1학기