(2/2) Understanding Multimedia: How Computers Process Sound and Video data
멀티미디어 - 컴퓨터가 소리와 비디오를 표현하는 방법. 컴퓨터학개론 11강
Goals
사운드와 비디오 데이터의 특징을 이해하고 표현방법을 설명할 수 있다. (Can define Sound and Video and explain how to express those data.)
Contents
✏️사운드 데이터 (Sound Data)
✏️컴퓨터가 디지털 사운드를 표현하는 방법 (How computer process and present Digital Sound)
✏️비디오 데이터 (Video Data)
✏️컴퓨터가 비디오 데이터를 표현하는 방법 (How computer process and present Video data)
✏️애니매이션(Animaiton)
✏️사운드 데이터와 디지털 사운드(Sound Data and Digital Sound)
📍사운드 데이터와 디지털 사운드의 관계
(Relationship between Sound Data and Digital Data)
사운드 데이터와 디지털 사운드는 밀접하게 관련되어 있다.
디지털 사운드(Digital Sound): 사운드를 디지털 형식으로 저장하고 다루는 개념
사운드 데이터(Sound data): 이러한 디지털 사운드를 구성하는 데이터
이번 강의에서는 디지털 사운드에 대해서 배울 예정이다.
📍디지털 사운드의 구조(Components of Digital Sound)
디지털 사운드는 주로 주파수와 진폭으로 표현된다.
📌 주파수(Frequency) 사운드의 주파수는 초당 사운드 파형의 반복 횟수를 나타낸다. 주파수는 헤르츠(Hz) 단위로 표현된다. 일반적으로 사람이 낼 수 있는 주파수 범위는 약 100Hz부터 6000Hz까지이고 사람이 들을 수 있는 주파수(가청 주파수)는 약 20Hz ~ 20,000Hz이다. 예로 오디오가 있는데 오디오는 가청 주파수 내에 있기때문에 사람이 들을 수 있는 것이다.
주파수가 높을수록 사운드는 더 높은 음을 나타낸다.
예를 들어, 고주파수(파형이 촘촘 할 경우)는 피리 소리와 같은 높은 음을 나타내고, 저주파수(파형이 널널할 경우)는 베이스 기타와 같은 웅웅거리는 낮은 음을 나타낸다.
📌진폭(Bandwidth) 사운드의 진폭은 파형의 기준선에서 최고점까지의 거리를 나타낸다. 진폭은 사운드의 크기와 관련이 있다. 진폭은 보통 음량 또는 소리의 크기로 해석되며, 더 큰 진폭은 보다 큰 음량을 의미한다. 진폭을 낮추면 소리가 낮아진다.
📍디지털 사운드 처리 방법 (Process of Digital Sound)
마이크로폰으로 소리를 입력받는다. 마이크로폰은 소리를 아날로그 신호로 변환하여 전송합한다. 이 신호는 전압의 변화로 표현되며, 이는 소리의 파형이다.
아날로그에서 디지털로의 변환은 사운드 카드에서 맡는다. 사운드 카드는 아날로그 신호를 디지털 형식으로 변환하여 컴퓨터가 처리할 수 있는 형태로 만든다.
CPU는 사운드 데이터를 처리하여 원하는 형태로 가공하고, 출력장치에 전달한다. 이 과정에서는 필요에 따라 신호를 필터링하거나 조작하여 특정 효과를 적용한다.
사운드 카드는 컴퓨터로부터 전달받은 디지털 신호를 다시 아날로그 형태로 변환하여 출력장치로 전달한다. 이 과정에서 디지털-아날로그 변환기를 사용한다.
스피커는 받은 아날로그 신호를 전기 신호로 변환하여 소리를 생성한다. 이 신호는 스피커의 다이어프램을 움직여서 공기 중에 압축파와 드나들기 파를 만들어내고, 이로써 사람이 소리를 듣게 된다.
- 이렇게 디지털 사운드는 아날로그 소리를 디지털 형식으로 변환하고, 다시 아날로그 형식으로 되돌리는 과정을 통해 처리됩니다.
💡디지털 사운드 변환 원리 1 - 사운드 카드 (Digital sounds conversion principal - Sounds card)
컴퓨터에서 소리 신호를 효과적으로 처리하기 위해서는 아날로그 신호를 디지털 신호로 변환하여야 한다. 위에 언급된 "사운드카드(Sound card)"의 원리를 알아보자.
📌 ADC device : Analog-to-Digital Converter, 마이크의 아날로그 소리를 디지털 신호로 바꿔준다.
📌 DAC device : Digital-to-Analog Converter, 스피커의 디지탈 신호를 아날로그 형태의 소리로 변환한다.
💡디지털 사운드 변환 원리 2 - 표본화 (Digital sounds conversion principal - Sampling)
디지털 사운드 변환에서 사용되는 키워드중 하나이다.
📌샘플링(Sampling) 아날로그 파형에서 일정 간격으로 표본을 추출하는 과정을 의미한다. 사진에서 보듯이 구간에 찍히는 점들의 숫자(디지털)을 추출하여 디지털 형태로 표현된다.
📌표본화율(Sampling Rate) 1초 동안에 취하는 표본의 수를 나타낸다. 단위는 Hz이다. 표본화율은 디지털 오디오에서 사용되는 샘플링의 속도를 결정한다.
높은 표본화율은 찍히는 점이 더 많으므로 더 많은 표본을 취하게 된다. 따라서 원음에 더 가까운 품질을 제공하지만, 그만큼 데이터 양이 증가하게 된다.
💡디지털 사운드 변환 원리 3 - 양자화 (Digital sounds conversion principal - Quantizing)
디지털 사운드 변환에서 양자화는 아날로그 신호를 디지털 형식으로 변환하는 과정 중 하나이다. 양자화는 샘플링된 값을 얼마나 자세하게 표현할 것인가와 관련이 있다. 각 샘플의 값을 "양자화"할 때 사용되는 비트의 수가 양자화 수준을 결정한다. 즉 비트수가 높을수록 더 정밀하게 표현할 수 있다는 말이다. 아래의 예제를 참고하자
정밀도 (resolution): 첫번째 사진은 2비트를 이용하였고 양자화 결과로 4가지의 레벨로 표현이 가능하지만 두번째 사진은 3비트를 이용하였고 양자화의 결과로 8가지의 레벨로 표현된다.
위에서 언급된 샘플링, 양자화 두 과정 모두 디지털 사운드 처리에서 중요한 역할을 하며, 고품질의 디지털 오디오를 만들기 위해 필수적이다.
💡사운드파일의 크기를 결정짓는 요소(The factor that determines the size of a sound file)
- 사운드 파일의 크기를 결정하는 여러 요소가 있다.
📌 샘플링 레이트 (Sampling Rate): 샘플링 레이트는 초당 샘플링된 표본의 수를 나타내며, 주로 킬로헤르츠(KHz) 단위로 표시된다. 높은 샘플링 레이트는 더 많은 데이터를 생성하므로 파일 크기를 증가시킨다.
📌 해상도 (Resolution): 비트 깊이는 각 샘플의 값이 저장되는 데 사용되는 비트 수를 나타낸다. 일반적으로 8비트, 16비트, 24비트 등이 사용된다. 더 높은 비트 깊이는 더 정밀한 표현을 제공하지만 파일 크기를 증가시킨다.
📌 채널 수 (Number of Channels): 사운드 파일이 여러 채널을 가질 경우 파일 크기가 증가한다. 모노(Mono) 파일은 하나의 채널을 가지고 있고, 스테레오(Stereo) 파일은 두 개의 채널을 가진다.
📌 압축 형식 (Compression Format): 압축 형식은 사운드 파일의 크기를 줄이는 데 사용된다. 일부 압축 형식은 데이터를 압축하여 파일 크기를 줄이지만, 압축해제 시 데이터 손실이 발생할 수 있음을 고려해야 한다. 반면에, 무손실 압축 형식은 파일 크기를 줄이면서도 원본 데이터를 완전히 복원할 수 있다.
📌 파일 형식 (File Format): 사운드 파일의 형식에 따라 파일 크기가 달라질 수 있다. 일부 형식은 데이터를 효율적으로 저장하고 압축할 수 있으며, 다른 형식은 보다 정교한 기능을 제공할 수 있다. (위에서 배운 GIF, JPGE 참조)
💡디지털 사운드 표준 (Standard of Digital Sounds)
사진을 압축하듯이 소리도 압축이 필요하다. 멀티미디어 데이터는 워낙 용량이 크기 때문에 압축하는 방식도 다르고 효율도 다르다. 압축된 디지털 멀티미디어 데이터는 용량을 줄이고 저장 및 전송 효율을 높이기 위해 사용됩니다. 압축된 데이터를 처리하기 위해서는 압축 방식에 대한 표준이 필요합니다. 이를 통해 모든 소프트웨어 및 장치가 동일한 방식으로 압축된 데이터를 해독하고 디코딩할 수 있다.
디지털 사운드의 표준은 여러가지가 있다. 이 표준들은 각 장단점이 있으며, 사용 용도나 환경에 따라 적합한 형식을 선택해야 한다. 일반적으로 WAV는 무손실 오디오 저장에 사용되고, MP3는 인터넷에서 음악을 공유하고 스트리밍하는 데 사용되며, AAC는 iOS 기기에서 주로 사용되며, WMA는 Windows 환경에서 주로 사용된다. 가장 널리 사용되는 MP3 표준에 대해서 알아보자.
📌 MP3 (MPEG-1 Audio Layer 3): MPEG(Moving Picture Experts Group)에서 개발된 오디오 압축 형식으로, 원래는 동영상 압축을 위해 개발되었다. 그러나 이 기술은 동영상의 오디오 부분만을 추출하여 독립적인 오디오 파일 형식으로 사용될 수 있게 되었다.
MP3는 소리를 압축함으로써 원본 소리의 품질을 유지하면서 파일 크기를 크게 줄일 수 있는 형식이다. 이러한 압축 기술은 원래 오디오 데이터의 약 10~12분의 1 크기로 압축할 수 있는데 사람이 듣기에 거의 손실이 없는 품질이다. CD와 비교했을 때 크기도 작다.
MP3는 이러한 이점으로 인해 인터넷에서 음악을 구매하고 다운로드하는 데 널리 사용되며, 음악 스트리밍 서비스에서도 많이 활용된. 또한 MP3 플레이어는 거의 모든 음악 재생 장치 및 응용 프로그램에서 지원되므로 매우 편리하게 사용할 수 있습니다.
✏️비디오 데이터와 디지털 비디오(Video Data and Video Sound)
📍비디오 데이터와 디지털 비디오의 관계
(Relationship between Video Data and Digital Video)
비디오 데이터(Video Data): 움직이는 이미지를 나타내는 정보를 포함하는 디지털 형식
디지털 비디오(Digital Video): 이러한 데이터를 통해 디지털 비디오가 생성되고 저장됨
비디오 데이터와 디지털 비디오는 동일한 개념을 가리키는 용어로 사용될 수 있다.
💡디지털 비디오(Digital Video)
📍개요(Overview)
아날로그 비디오와 오디오 신호를 디지털 컴퓨터에서 사용할 수 있도록 디지털 데이터로 변환하여 사용할 수 있도록 디지털 데이터로 제작한 것을 뜻한다. 오디오 신호는 MP3표준으로 위에서 언급되었다.
📌동영상(Video) 비디오 데이터는 정지 이미지들의 연속적인 집합체로 구성된다. 기술적으로, 영상은 이미지의 연장선 상에 있으며, 많은 수의 이미지가 초당 몇 프레임으로 표시되어 움직이는 영상이 만들어진다. 이렇게 디지털화된 비디오 데이터는 멀티미디어 데이터 중에서도 가장 크기가 크고 처리하기 어려운 데이터 중 하나이다.
📍동영상을 처리하는 소프트웨어(Video processing software)
📌편집 소프트웨어(Editing Software) Adobe Premiere과 Windows Movie Maker는 비디오 편집을 위한 소프트웨어로, 사용자가 디지털 비디오를 편집하고 가공할 수 있도록 도와준다. 이러한 편집 소프트웨어는 다양한 기능을 제공하여 비디오 클립을 자르고 붙이고 효과를 추가하며, 오디오와 이미지를 통합하여 전문적인 편집 작업을 수행할 수 있다.
📌재생 소프트웨어(Playback Software) Windows Media Player와 곰플레이어는 비디오 파일을 재생하는데 사용되는 소프트웨어이다. 이러한 재생 소프트웨어는 다양한 비디오 형식을 지원하고 풍부한 재생 기능을 제공하여 사용자가 비디오를 편리하게 감상할 수 있도록 도와준다.
📍동영상 압축(Video Compression)
사진 한장의 용량이 크듯이 비디오 파일은 일반적으로 매우 큰 용량을 가지고 있다. 특히, 고해상도의 비디오 및 고프레임 속도의 경우 파일 크기가 더욱 커진다.
예를 들어, 640x480 해상도의 비디오를 초당 30프레임으로 저장하는 경우, 각 프레임에는 640x480 픽셀의 이미지가 있고, 각 픽셀은 일반적으로 3바이트(RGB 색상 채널당 1바이트)로 표현된다. 이러한 가정하에, 초당 20MB의 데이터가 생성된다.
이렇게 큰 파일 크기 때문에 비디오 파일을 압축하는 것이 필수적이다. 그대로 전송한다면 네트워크 대역폭이 감당할 수 없을 것이다.
비디오 압축은 비디오 데이터의 중복을 제거하고, 불필요한 정보를 제거하여 파일 크기를 줄이는 것을 의미한다. AVI, MOV, MPEG 등의 형식은 일반적으로 비디오 파일을 압축하여 저장할 때 사용되며, 각각의 형식은 다른 압축 알고리즘을 사용한다.
📍동영상 압축의 표준 - MPEG (International standards for the compression of digital video)
1998년 MPEG-4 영상압축 표준이 출범하였다. MPEG 표준은 계속 업데이트 되고 있고 MPEG-4가 동영상 압축의 표준으로 사용되고 있다.
💡애니매이션(Animation)
📍개요(Overview)
애니메이션은 컴퓨터를 이용하여 1초에 24~30장의 이미지 프레임을 연속적으로 보여지도록 제작된 데이터를 말한다. 이것은 일련의 정지 그림들이 연속적으로 보여져서 움직이는 것처럼 착각되도록 만드는 잔상현상을 이용한 기술이다.
📍디지털 비디오와 애니매이션의 차이(Different between Digital video and Animation)
디지털 비디오는 움직이는 이미지를 디지털 형식으로 나타내는 것을 의미하며, 주로 실제의 사건을 찍은 영상을 포함한다.
이와는 달리 애니메이션은 현실의 사건이나 인물을 찍은 것이 아니라, 그림을 통해 만들어진 영상이다. 따라서 애니메이션은 비디오 데이터보다는 이미지 데이터에 더 가깝다.
물론, 애니메이션을 디지털 비디오 형식으로 저장할 수도 있으며, 일부 애니메이션은 비디오 파일 형식으로 제공될 수도 있다. 하지만 애니메이션은 주로 이미지 파일 형식으로 저장되며, 각 이미지 프레임이 독립적으로 저장되어 시간에 따라 연속적으로 재생된다.
📍주로 사용하는 곳(Main usage)
만화, 영화, 광고, 게임, 사이버 인물 등에 활용한다.
📍애니메이션의 종류(Type of Animation)
📌전통적인 애니메이션(Traditional Animation)
손그림으로 만들어지는 애니메이션 기법을 가리킨다. 셀 애니메이션(cell animation)이라고 한다.
이는 손으로 그린 각 프레임을 촬영하여 움직이는 영상을 만들어내는 과정으로, 주로 종이에 그림을 그리고 이를 필름에 촬영하는 방식으로 이루어진다.
이러한 기법은 디지털 기술이 개발되기 이전에 주로 사용되었다.
📌 컴퓨터 애니매이션(Computer Animation)
컴퓨터 그래픽 기술을 사용하여 만들어지는 애니메이션을 의미한다. 스프라이트 애니매이션 (Sprite Animation) / 백터 애니메이션 (Vector Animation)이라고 한다.
이는 디지털 그래픽 소프트웨어를 사용하여 만들어지며, 손그림이나 모형을 사용하지 않고도 다양한 애니메이션을 만들 수 있다.
컴퓨터 애니메이션은 2D 애니메이션과 3D 애니메이션으로 구분될 수 있으며, 최애니메이션의 주류를 이루고 있다.
학습 정리(Summary)
