사운드

멀티미디어 정보에서 사운드의 역할 사람의 오감 청각 시각 촉각 미각 후각

멀티미디어 정보에서 사운드의 역할 사람의 오감 청각 시각 촉각 미각 후각

왜 사운드가 필요할까? 미디어의 상승 효과 : 여러 미디어를 같이 사용할 수록 정보 전달 효과가 커짐 동기 유발 : 여러 미디어를 혼합함으로써 피 정보 전달자의 동기나 흥미 유발 시각 20, 청각 30, 시각 후 청각 50, 시각 + 청각 80

사운드의 종류 일반적인 분류

컴퓨터에서 사운드 처리하는 방법에 따른 분류

사운드 제작 과정

사운드 제작 과정 계획(plan) 녹음(record) 변환(capture) 편집(edit) 작업에 대한 계획을 세우고, 필요한 조건 검토 최종 결과에서 사용될 사운드에 대해 설계 녹음(record) 현실 세계의 소리를 사운드 도구를 이용하여 녹음 변환(capture) 녹음된 사운드(아날로그 형태)를 컴퓨터에서 처리 가능한 디지털 형태로 변환 편집(edit) 원하는 목적에 맞게 사운드 편집 프로그램을 이용하여 편집(edit) 또는 믹싱(mixing)

사운드 제작 과정 저장(store) 통합(integrate) 연주(playback) 편집이 끝난 중간 결과를 원하는 포맷으로 저장 통합(integrate) 최종 결과를 만들기 위해 저장된 사운드를 다른 프로그램과 통합 연주(playback) 최종결과를 재생하여 보완될 점을 수정

사운드의 물리적 의미 사운드는 음원에서 물체가 진동하여 공기라는 매체의 압력을 변화시킴으로써 생성되고 , 이 변화는 파형(waveform)의 형태로 우리 귀에 전달

사운드(파형)의 기본 요소

사운드(파형)의 기본 요소 사이클(cycle) : 일정한 시간 간격마다 반복되는 동일한 모양 주기(period) = 1/주파수(frequency) : 한 사이클이 걸리는 시간 어느 정도의 주기를 갖고 있는 사운드가 그렇지 않은 사운드보다 음악적으로 들림 사운드를 구성하는 3 요소 주파수(frequency) : 음의 높낮이와 관련 진폭(amplitude) : 음의 크기와 관련 음색(tone color) : 음의 특성

주파수 소리의 높낮이를 결정 (주파수가 높으면 고음, 낮으면 저음) 사람이 낼 수 있는 주파수 대는 약 100Hz ~ 6KHz 사람의 청각은 1KHz ~ 6 KHz 에 가장 민감 사람의 가청 주파수 대는 약 20Hz ~ 20KHz 오디오(Audio)

진폭 파형의 기준선에서 최고점까지의 거리를 의미하며 소리의 크기와 관련 소리의 크기는 음압 변화의 비율로 표현 사람의 귀는 소리의 크기의 변화보다 변화의 비율(logarithm)에 영향을 받음 소리의 크기를 표현 할 때에는 소리의 크기에 로그 값을 취한 bel로 표현하고, 사용 시에는 bel값을 10배 한 decibel을 사용 기준 음압을 P0 음압을 P라하면 음압레벨 (dB) = 10 x 2 log (P/P0) 인간이 가장 편하게 들을 수 있는 소리의 범위: 0db ~ 90db

음의 크기

음색 음의 높이와 크기가 같아도 악기마다 고유한 특징이 있는데 이를 음색이라고 함 플룻 바이올린 클라리넷

사운드의 디지털화 ADC (Analog-to-Digital Converter) DAC (Digital-to-Analog Converter)

디지털 변환 과정 표본화 (Sampling) 양자화 (Quantization) 부호화 (Coding)

표본화 아날로그 파형을 디지털 형태로 변환하기 위해 표본을 취하는 것 표본화율(Sampling Rate, Hz) : 1초 동안에 취한 표본수

표본화율의 차이

표본화율과 주파수 표본화를 많이 할 수록 원음을 잘 표현할 수 있으나 데이터 저장을 위한 공간 증가 주파수에서의 Hz는 1초에 주기가 몇 번 있는 가를 의미하고, 표본화에서의 Hz는 1초에 몇 번 표본화 되는가를 의미 나이키스트 정리(Nyquist theorem) 표본화 시 원음을 그대로 반영하기 위해서는 원음이 가지는 최고 주파수의 2배 이상으로 표본화 해야 한다. 음악 CD의 표본화 율이 44.1KHz

양자화 디지털 형태로 표현할 때 어느 정도의 정밀도를 가지고 표현할 것인지를 의미. 표본화된 각 점에서 값을 표현하기 위해 사용되는 비트 수 음의 해상도 : 값을 표현하는 정밀도 (Sampling Resolution, Sampling Size)

음악 CD?

양자화시 고려해야 할 점 잡음( Noise) 진폭 S/N (Signal to Noise) 진폭의 최고점과 최저점 사이의 범위(Dynamic Range)

부호화(Coding) 표본화와 양자화를 거친 디지털 정보를 표현하는 과정 부호화는 압축 과정을 포함 할 수 있음

부호화 PCM 방법(Pulse Coded Modulation) 입력된 값 그대로를 기록하는 방법 압축을 하지 않기 때문에 용량이 큼 CD,DAT (Digital Audio Tape)

(A)DPCM: (Adaptive) Differential Pulse Coded Modulation

DPCM vs. ADPCM 13 27 40 28 39 54 50 52 +13 +14 -12 +11 +15 -4 +2 16 40 89 75 24 32 66 19 +15 -16 -12 15 30 45 60 44 47 31 16 40 89 75 24 32 66 19 +15 +12 +1 -12 +2 +8 -11 +24 +30 +4 -48 +32 -44 15 39 69 73 25 33 65 21

ADPCM 국제 멀티미디어 협회(IMA; International Multimedia Association)에서 제안한 방식 DPCM (Differential Pulse Coded Modulation) 차이만을 저장 인접한 값의 차이가 크면 비효율적 ADPCM : DPCM에서 인접한 값과의 차이가 크면 진폭을 나누는 단계를 크게 하고, 차이가 작으면 진폭을 나누는 단계를 작게 하여 가변적으로 차이를 정밀하게 저장 업체마다 다르게 구현하여 상호 호환성이 없음

디지털 사운드 파일의 크기 및 음질

파일 크기 계산식 파일의 크기 = 표본화율 x 해상도 x 모드(mono=1, stereo=2) x 시간(초) 1분 길이의 음악 CD = 44100 (Hz) x 16 (bit) x 2 (stereo) x 60 (초) = 84,672,000 bit = 10,584,000 byte = 10.6 MB CD 한 장의 용량이 650MB이므로 그 안에는 약 10곡에서 15곡의 음악이 저장 가능

사운드 처리 과정 사운드를 어디에 사용할 것인지를 고려하여 표본화율과 해상도를 결정 아날로그 신호가 들어오면 먼저 표본화율(Sampling Rate)보다 높은 고주파 성분을 제거 전처리 필터(Prefilter: Low-pass filter)를 통하여 표본화율의 1/2보다 높은 고주파 성분을 제거 ADC(Analog-Digital-Converter)에 의해 표본화, 양자화 과정을 거쳐 디지털 신호로 변환, 부호화 부호화된 디지털(bit stream) 정보를 DSP(Digital Signal Processor)에서 원하는 목적에 맞게 편집, 가공, 저장

사운드 처리 과정 출력시에 DAC(Digital-Analog-Converter)를 거쳐서 아날로그 파형으로 변환. 이 때 가청 주파수보다 높은 고주파 성분 발생 고주파 성분을 제거 시키기 위해 후처리 필터(Postfilter: Low-pass filter)를 통과시켜 최종적인 아날로그 신호로 변환

사운드 처리 과정에서 잡음 표본화 앨리어싱(Aliasing) 절환 오차 표본화할 때 표본화 주파수의 ½보다 큰 주파수가 있을 경우에 그대로 디지털화 하면 표본화 주파수의 ½보다 큰 주파수가 표본화 되는 주파수 영역으로 들어온 잡음 사운드에 원래 고주파 성분이었던 울림이 없어지고 저주파수의 방해음이 발생 극복 방법: 앤티앨리어싱(Antialiasing) 전처리 필터에서 ½주파수 이상을 필터링 후처리 필터에서 가청주파수 이상을 필터링 절환 오차 전처리필터에서 발생하는 오차 극복 방법: 과표본화 (Oversampling)

양자화 오차 아날로그 파형을 양자화 비트로 표현하면서 발생하는 값의 차이 이를 최소화하기 위해서는 양자화 비트 수를 늘려주어야 함 디더링(Dithering) 아날로그 파장을 디지털 형태로 바꾸는 과정에서 미소한 잡음(White Noise 또는 Dither Noise) 성분을 인위적으로 첨가하여 양자화 잡음과 음의 왜곡을 줄이는 방법

기타 오차 클리핑(Clipping) 지터(Jitter) 원음의 진폭이 기계가 수용하는 진폭보다 크거나, 양자화 하여 나타낼 수 있는 진폭보다 큰 경우에 발생 지터(Jitter) 디지털 신호의 전달 과정에서 일어나는 시간 축상의 오차, 즉 신호가 지연되어 전달되거나 기기 간의 저항(impedance)이 제대로 매칭(matching)되지 못해 발생하는 신호의 왜곡 '찌직‘, '따닥 따닥'

디지털 오디오 시스템

사운드 카드 Adlib SoundBlaster 1987년 캐나다의 Adlib사에서 제작 일본의 Yamaha사의 YM-3812 칩을 사용하여 11중 화음의 연주가 가능 FM 음원을 사용하여 음이 자연스럽지 못하고 음성처리 불가능 SoundBlaster Creative 사 PCM방식의 사운드 카드 실질적인 사운드 카드의 표준

음원 방식

현재의 사운드 카드 메인보드 일체형 16 bit 이상의 음질 디지털 입출력 단자(S/PDIF) 3차원 입체 음향을 효과적으로 제공하는 방향으로 발전 5.1, 6.1, 7.1 채널지원

앰프와 스피커 음질 결정의 주요 요소 5.1 ,6.1, 7.1 채널 우퍼(Woofer) 디지털 앰프

사운드 처리 소프트웨어 디지털 형태의 사운드를 편집하는 소프트웨어들의 기본 기능은 유사함 사운드를 캡쳐, 편집, 가공하는 기능, 여러 트랙에 대한 편집 기능 등은 대부분 소프트웨어에서 지원 그 외의 특수 효과의 지원 정도와 기능의 확장성(plug-in 등)에서 약간의 차이 있음 EX) Goldwave, SoundForge, Cool Edit, Adobe Audition 재생전용 소프트웨어 Winamp, 곰오디오, Window Media player

디지털 사운드의 압축방식 ADPCM A-law, μ-law TrueSpeech 음성 통신을 목적으로 정한 압축 방식 양자화 과정에서 오차를 줄이기 위해 고안 비균등 코딩(Non-uniform Coding) TrueSpeech DSP(Digital Speech Products) 사에서 음성의 실시간 전송을 위해 만든 방식으로 3.7Kbps에서 8.5Kbps까지 전송 가능 사람과 사람이 대화할 때 대화 사이의 공백은 디지털 데이터로 전송할 필요가 없다는 사실을 이용하여 최대 40:1까지 압축 가능

디지털 사운드의 압축방식 MP3 또는 MPEG Layer 3 MPEG-1의 오디오 부분의 Layer 3를 MP3라는 이름으로 사용 Layer 1(압축률 1:4) Layer 2(압축률 1:6 - 1:8) Layer 3(압축률 1:10 - 1:12) Cf) AAC(Advanced Audio Coding) 손실 압축(Lossy Compression) 마스킹(Masking) 효과를 이용: 큰소리와 작은 소리가 동시에 발생하면 작은 소리는 들리지 않게 되는 것처럼 어떤 소리에 의해 다른 소리가 가리워지는 현상을 의미

디지털 사운드의 압축방식 RealAudio RealNetwork사에서 실시간으로 음성을 보내기 위해 만든 압축 방식 스트리밍 기술을 이용, 실시간에 사운드를 전송 받으며 재생할 수 있는 사운드 형식 네트워크 속도에 따라 선택적으로 전송 가능

사운드 파일 포맷 WAV Microsoft와 IBM이 PC상의 사운드 표준 형식으로 공동 개발 Windows기반 PC에서 주로 사용 머리(Header)와 몸체(Body)로 구성 머리 : 압축방식, 표본화율 등의 정보를 설정 몸체 : 사운드 데이터 같은 wav확장을 가져도 구체적인 압축 방식은 상이할 수 있음 일반적으로 ADPCM방식이 많이 사용되고, 그 외에 Truespeech, u-Law등도 많이 사용

사운드 파일 포맷 AU MP2, MP3 μ-law 방식으로 압축된 형식으로 유닉스 환경에서 사용 Sun이나 NeXT가 표준으로 채택 MP2, MP3 압축효과가 뛰어나고, 음질도 우수 인터넷 상에서 음악을 압축하는데 많이 사용 MP2: Layer 2 MP3: Layer 3

사운드 파일 포맷 VQF Real Audio (.ra, .rm) 일본 Yamaha사에서 만든 사운드 형식 압축율이 MP3보다 높고 파일 크기는 작음 MP3가 사람과 음악 정보에 포괄적으로 적용되는 압축방식을 사용하고 있으나 VQF는 음악에 대해 특화된 압축 방식을 이용 압축률은 MP3에 비해 30%이상 향상되었으나 인코딩과 디코딩은 MP3보다 시간이 많이 걸림 Real Audio (.ra, .rm) 스트리밍 기술을 이용, 실시간에 사운드를 전송받으며 플레이 SureStreaming: 대역폭이 동적으로 변함에 따라 음질도 동적으로 변화

사운드 파일 포맷 ASF(Advanced Streaming Format) 1996년 인텔이 개발한 멀티미디어 파일 형식 통합 멀티미디어 파일로 파일 안에는 오디오, 비디오, 이미지, URL, 실행 프로그램까지 포함 가능 스트리밍 방식을 지원하며 느린 속도에서 부드럽게 재생 가능

입체음향 활용 분야 영화, TV, 오디오 서라운드 방식 게임 상호작용 지원

서라운드(Surround) 사람이 있는 위치를 기준으로 사방에서 소리를 들려주는 방식 : 공간감, 입체감 스테레오와 마찬가지로 청취자가 음의 중심점에 있어야 입체감을 적절하게 느낄 수 있음 예) 돌비 서라운드(Dolby Surround)

서라운드 포맷 –발표 2조 Dolby Digital DTS (Digital Theater Systems) SDDS (Sony Dynamic Digital System) 5.1 6.1 7.1 채널

상호작용 입체음향(Interactive 3D Sound) 음원이 움직이거나 청취자가 움직이면 음원과 청취자 간에 상대적인 위치가 변함 상호작용이 필요한 가상 현실이나 게임에서 많이 사용 Creative사의 EAX, Aureal사의 A3D, 마이크로소프트사의 Direct 3D Sound에서 지원

상호작용 입체음향의 원리 입체 음향(Interactive 3D Sound) 소리의 전달 경로 음원이 존재하는 공간에 직접 위치하지 않은 청취자가 재생된 음향을 들었을 때 음향으로부터 공간적 단서(방향감, 거리감 및 공간감)를 지각할 수 있는 음향을 의미 소리의 전달 경로 소리는 사람의 외부에서의 전달 경로와 내부에서의 전달 경로로 나뉨 공간 전달계(외부) : 실내의 벽이나 천장 등에 의한 반사, 회절, 산란 등의 현상 머리 전달계(내부) : 인간의 머리와 귓바퀴에 의한 반사, 회절, 공진 등의 현상

공간감을 느끼는 원리 두 귀에 도달하는 소리의 시간차(ITD; Interaural Time Difference) 사람이 음원의 위치에 대한 방향성을 인지할 수 있는 이유는 두 귀에 들어오는 소리에 시간 차가 있기 때문 가까운 방향 쪽에 있는 귀가 먼저 그 소리를 들음으로써 음원의 방향을 알 수 있음

공감각을 느끼는 원리 귀에 도달하는 소리의 세기차(IID; Interaural Intensity Difference) 그 밖의 단서 시각적 효과, 머리의 움직임, 소리의 종류에 따른 친숙도 등

입체음향의 녹음 방법

입체음향의 생성 방식 입체 음향은 청취자와 음원 간의 위치 정보를 이용하여 생성할 수 있음 음원과 청취자에 대한 위치의 변화에 따른 소리를 생성하기 위해서는 먼저 청취자와 음원 간의 위치를 반영한 소리를 녹음 녹음된 소리로부터 머리 전달 함수(HRTF)를 이용하여 입체 음향을 생성 특정 장소에 따른 입체 음향을 생성하기 위해서는 장소에 따른 머리 전달 함수와 공간 전달 함수를 이용

입체음향의 생성 방식 머리 전달 함수(HTRF;Head-Related Transfer Function) 무향실 내에서 가짜 머리를 이용하여 여러 각도에서 배치한 스피커에서 나오는 음들을 녹음하여 푸리에(Fourier) 변환한 것 머리 전달 함수는 소리가 들어오는 각도에 따라 달라지기 때문에 여러 위치에서 나오는 음들에 대해 머리 전달 함수를 측정하고 이를 데이터베이스로 구축 공간 전달 함수(RTF;Room Transfer Function) 특정 장소에 따른 공간의 크기, 구조, 벽 또는 천정 재질 등에 의해 음원에 대한 직접음, 초기 반사음, 잔향 패턴 및 잔향 시간 등이 달라짐 특정 장소의 효과를 생성하기 위해서는 무반향실이 아닌 특정 실내에서 머리 전달 함수를 측정해야 함 특정한 장소에서 측정한 머리 전달 함수를 공간 전달 함수라고 함 이를 이용하여 특정한 장소에 대한 가상의 음장(음원을 둘러싸고 있는 공간)을 생성할 수 있음 실제로 원하는 입체음을 생성하기 위해서는 단순음을 머리 전달 함수와 공간 전달 함수를 이용하여 변형시킴

입체음향의 재생 헤드폰에 의한 재생 내재화 현상 제거 스피커에 의한 재생 상호간섭 제거

미디( MIDI:Musical Instrument Digital interface) 전자 악기와 컴퓨터 간의 상호 정보교환을 위한 규약 1983년: 캘리포니아주 산호세에 모여 제정 연주에 관한 정보에 대한 규약 음의 높이, 음표의 길이, 음의 강약 등 신디사이저(Synthesizer) 미디의 규약으로부터 실제 음을 발생시켜주는 기계 전자 악기들에 대해 일관된 방식의 제어가 가능 동시에 여러 악기들에 대한 제어가 가능

미디시스템의 구성

미디 시스템에서 음의 처리과정 음의 입력 : 신디사이저에서 음을 발생 => 미디 인터페이스 카드 => 컴퓨터로 전송 음의 처리 : 컴퓨터에서 미디 프로그램을 이용하여 편집 음의 출력 : 컴퓨터 => 미디 인터페이스 카드 => 미디 장치 또는 앰프를 이용하여 스피커로 출력 MIDI-IN, MIDI-OUT, MIDI-THRU

미디 하드웨어 신디사이저 전기적인 신호를 합성하여 음을 생성하는 장치 음원부+건반부 마스터 키보드 음원모듈

음의 합성방식 FM 방식 정현파(sine파)를 기본으로 하여 소리를 합성하는 방식 기계적이고 신비로운 음색을 잘 구현 Yamaha사의 초기의 DX 시리즈와 근래의 TG 시리즈나 MU-80 등 Yamaha사의 YM3812 칩은 11가지 악기음을 동시에 생성할 수 있고 모노로 출력, YM262 칩은 20여가지의 악기음을 동시에 생성하고 스테레오로 출력함

음의 합성 방식 PCM 방식 AI 방식 소리를 디지털로 변환하여 저장하였다가 사용하는 방식 음질은 좋으나 정보의 양이 많다. Roland사의 SC 시리즈, JV 시리즈, Yamaha사의 AWM(Advanced Wave Memory) 방식 등이 있음 SoundBlaster에 사용되는 EMU사의 EMU8000칩은 1MB 메모리를 이용하여 32가지 음을 동시 생성 AI 방식 향상된 PCM 방식 + FM 방식 음향(Acoustic) 악기 + 전자 악기

샘플러(Sampler) 신디사이저가 각 악기 음의 대표적인 음을 갖고 있는데 반해 샘플러는 악기의 모든 음을 갖고 있음 실제 소리를 녹음하여 악기로 변환하여 쓰거나 각종 효과음으로 활용할 수 있도록 해주는 장비 좀더 정교한 음을 사용하고자 할 때나 음원에 없는 새로운 음을 만들고자 할 때 사용

그 밖의 미디 하드웨어 믹서(Mixer) 드럼 모듈 미디 인터페이스 카드 미디 전용 케이블 (5-pin) 여러 개의 오디오 출력을 섞어서 하나의 출력으로 이퀄라이저(Equalizer) 드럼 모듈 드럼의 소리들만을 담아둔 모듈 미디 인터페이스 카드 컴퓨터와 미디 모듈을 연결 Roland사의 MPU-401 미디 전용 케이블 (5-pin)

미디의 표준 모드 미디에는 최소한의 규정만 있을 뿐 악기 번호에 대한 것과 이펙터(음을 연주할 때 특수한 효과를 주는 것)를 조정하는 방식 등에 관한 규정이 없음 예를 들어 A라는 사람은 악기번호 1번에 바이올린을 할당하여 곡을 만들었는데 그 곡을 B라는 사람이 듣는데 B라는 사람의 환경은 악기번호 1번에 피아노가 할당되어 있다면 이상한 소리가 연주 됨 GM (General MIDI) Roland의 GS (General Synthesizer, General Standards) Yamaha의 XG (eXtended General, eXtension of General MIDI) 　

미디 소프트웨어 작곡용 프로그램(Sequencer) 음원 모듈에 어떤 악기를 얼마의 강도로 얼마나 오랫동안 소리를 내라고 명령함 미디 신호를 입출력할 수 있고, 저장되어 있는 미디 데이터를 연주, 편집하는 기능이 있음 미디 신호(미디 메시지) 미디 장치간에 음악적인 사건 정보를 전달 음악적인 사건 : 악기를 연주하면서 연주자가 취하는 동작 건반을 누르거나 건반에서 손을 떼는 등의 행동 미디 채널 메시지 미디 시스템 메시지

미디 소프트웨어 악보용 프로그램(Notation, Scoring 프로그램) 출판 기능 뿐 아니라 편집 기능을 제공하고 있어서 시퀀서와 더불어 많이 이용 Coda사의 Finale, Passport Design사의 Encore 등 음색편집용 프로그램(Voice Editor, Sound Editing 프로그램) 소리를 편집, 수정하는 프로그램으로 미디 음원 모듈이나 신디사이저에 있는 각종 음색과 효과음을 바꾸거나 새로 만들 때 사용하는 프로그램 오딧세이소프트(OdysseySoft)사의 Classic-B, KORG사의 X5DR 등