직업상 Data Compression에 많은 관심을 갖다보니 정보이론의 Entropy에 접하게 되었는데 후에 음악에서도 그 이론을 그대로 적용한 연구가 있다는 사실을 알고 무척 흥미롭게 생각되었습니다. 정보이론의 엔트로피 개념은 1948년 당시 Bell Lab.에 근무하던 Claude Shannon이 처음 창안한 것으로서 이후 음악을 포함하여 여러분야에 많은 영향을 끼친 획기적인 이론으로 알려져 있습니다. 이 이론에 의하면 "확률 P인 사건이 갖는 정보의 양은 Log(1/P) 이다" 입니다. (로그의 베이스는 어떤 시스템이냐에 달린 문제이지만 여기서는 컴퓨터에 기준을 두어 2를 베이스로하여 Bit 수로 환산하겠습니다. 이하 Log2로 표시합니다.) 그럼 이게 도대체 무슨 귀신 씨나락 까먹는 소리일까요?

수업시간에 늘 조는 학생이 있다고 합시다. 그넘이 수업시간에 졸 확률이 99%라고하면 그가 오늘도 졸고 있다는 사실은 별로 새삼스러운 일이 아닙니다. 그러나 그가 초롱초롱 깨어있다고하면 이건 뭔가 심상치 않은 일이 됩니다. 그 것을 위의 수식에 대입해보면 "졸고있다"는 사실이 갖는 정보의 양은 Log2(1/0.99) = 0.014(Bit)인 반면에, "깨어있다"는 사실이 갖는 정보의 양은 Log2(1/0.01) = 6.644(Bit)가 됩니다. 확률이 낮은 사건일수록 정보의 양은 많아지는 것이지요. 따라서 "오늘 아침에 해가 동쪽에서 떳다"는 것과 같이 확률 100%인 사건은 아무런 의미가 없습니다. (정보의 양 Log2(1/1) = 0)

여기서 정보의 엔트로피는 모든 가능한 사건의 일어날 확률 X 정보량의 합으로 계산됩니다. 위 예에서 "존다"의 정보량은 0.014이지만 그럴 확률이 99%이기 때문에 0.99 X 0.014 = 0.014 Bit인 값과, "안존다"는 0.01(1%) X 6.644 = 0.066 Bit의 합, 즉 0.014 + 0.066 = 0.081 Bit가 엔트로피가 됩니다. (H1 + H2 = P1*Log2(1/P1) + P2*Log2(1/P2)) 이 것을 수학적으로 표현하면 엔트로피 H = ∑[ Pn X Log(1/Pn) ] 입니다.

만약 졸 확률과 안졸 확률이 반반(50%)이라면 H = H1 + H2 = 0.5*Log2(1/0.5) + 0.5*Log2(1/0.5) = Log2(2) = 1 Bit이 됩니다. 결론적으로 말하자면 어떤 일이 일어날 경우의 수가 많을수록, 그리고 그 확률이 동률로 고르게 퍼져있을수록 (확률적 대등성이 높을수록) 엔트로피는 높아지고, 어느 한쪽에 치우치면 낮아집니다. 다시 말하면 졸지 안졸지 "안봐도 다알아..."라고 말할수 있는 학생은 졸음정보 엔트로피가 낮고 예측하기 힘든 학생은 엔트로피가 높다고 할 수 있습니다.

언어에 있어서도 마찬가지입니다. 사람마다 자주쓰는 특정한 어휘나 표현을 갖고있는데 그 자주 쓰는 정도가 심하면 엔트로피가 낮습니다. 이 엔트로피를 이용하여 미국 독립선언문의 어느부분을 누가 썼는지와 같은 것을 추정하기도 합니다. 그러나 어휘의 수가 너무 많기 때문에 간단하게 알파벳의 각 문자의 사용빈도로 엔트로피를 계산합니다. 이때 엔트로피에는 최대값이 있습니다. 알파벳은 26개이므로 그 확률이 각각 1/26로 동일하다면 (1/26)*Log2(26) + (1/26)*Log2(26) + ... 이렇게 26개를 더하므로 Log2(26) = 4.700 Bit이 넘을수 없는 최대값이 됩니다.

음악에서는 언어의 알파벳 대신에 12개 음정의 사용빈도로 엔트로피를 측정하는데, 동요처럼 반음계(Chromatic Scale)를 잘 쓰지않고 전음계(Diatonic-7음) 위주로만 되어있는 곡은 엔트로피가 낮고, 임시 조바꿈이 많거나 나아가서는 쇤베르크처럼 무조주의로 가는 곡은 엔트로피가 높습니다. 음악의 엔트로피의 최대값은 음정이 12개이므로 위와 같은 방법으로 Log2(12) = 3.585 Bit 입니다. 몇몇 음악가의 곡을 샘플링하여 측정한 연구결과들을 종합해보면 다음과 같은 엔트로피를 얻을수 있습니다.

동요: 2.632 (Bit)
Gregorian Chant: 2.720
Foster: 2.846
Mozart: 3.009
Mendelssohn: 3.030
Hasse: 3.039
Schumann: 3.050
Schubert: 3.127 ~ 3.163
R. Strauss: 3.397
(아쉽게도 쇤베르크는 없군요.)

실제 엔트로피 계산의 한가지 예를 들어보겠습니다. "미레도레 미미미, 레레레, 미미미, 미레도레 미미미, 레레미레도" - "떳다떳다 비행기" 입니다. (이곡은 단 3개의 음만으로 노래를 만들었다는 사실이 참으로 경이롭습니다.) 음의 사용빈도를 보면 도=3, 레=10, 미=12번 입니다. 따라서 엔트로피 H = (3/25)*Log2(25/3) + (10/25)*Log2(25/10) + (12/25)*Log2(25/12) = 1.404 Bit 입니다. 첨부된 Excel File의 노란색 Cell에 각 음의 빈도를 넣으면 엔트로피를 계산하게 되어있습니다. 아무 할일도 없고 심심할때 해 보십시오.

음악의 엔트로피가 어떤 음악성을 나타내는 지표는 절대로 아닙니다. 음을 마구 뒤섞어 놓는다해도 그 빈도만 같으면 엔트로피는 같은 값을 나타내게 되니까요. 동요나 그레고리 성가, 포스터의 단순한 멜로디도 얼마든지 아름다운 곡이 많습니다. 음악의 엔트로피는 다만 그 곡의 변화도, 다양성, 내지는 복잡성 또는 난해도 정도를 가름해 볼수있는 지표가 될수는 있을 것입니다. 그리고 어느 음악가의 특징을 대강 짐작케하는 정도로 보아야할 것입니다.


사족 - 도대체 Entropy란 무엇인가?

저도 잘 모르겠습니다...

열역학에서는 일(Work=Energy)로 변환되지는 않았지만 내부에 잠재한 에너지를 말합니다. 천체물리학에서는 우주의 모든부분이 같은 온도로 되려는 경향을 말합니다. 또, 사회학에서는 '무질서도'로 불리기도 합니다. 어쩌면 우주 모든현상의 (불)균등한 정도를 나타내는 척도이거나, 또는 불균등한(혼돈) 상태로부터 균등한(질서) 상태로 가려는 경향(Momentum)인지도 모르겠습니다.

그런 막연한 생각으로 음악을 다시 생각해보면 음악의 엔트로피는 음정에만 해당되는 것이 아니고 화음의 해석에도 잘 적용되지 않을까 싶습니다. 당김화음, 불협화음은 엔트로피가 높고 협화음, 으뜸화음은 엔트로피가 낮은 화음으로 그 진행에 어떤 방향성을 주는 모멘텀으로서 말입니다. 또는 리듬에도 엔트로피가 없으리란 법이 없습니다. 단지 그러한 것들을 어떻게 정량화 할 것인지가 어려운 문제일 뿐이 아닐까요?