5. Una FIMN tiene un alfabeto fuente 𝑺 = {𝑨, 𝑩, 𝑪, 𝑫}, donde las probabilidades de los símbolos son
𝟏 𝟏 𝟏
𝟏
𝟐 𝟒 𝟖
𝟖
, , 𝒚
respectivamente. Determinar:
𝑆 = {𝐴, 𝐵, 𝐶, 𝐷} 𝑃(𝐴) = 𝑃1 =
1 2
𝑃(𝐵) = 𝑃2 =
1 4
𝑃(𝐶) = 𝑃3 =
1 8
𝑃(𝐷) = 𝑃4 =
1 8
a) La entropía de la fuente S. 4
1 𝐻(𝑆) = ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2 ( ) 𝑃𝑖 𝑖=1
1 1 1 1 = 𝑃1 ∗ 𝑙𝑜𝑔2 ( ) + 𝑃2 ∗ 𝑙𝑜𝑔2 ( ) + 𝑃3 ∗ 𝑙𝑜𝑔2 ( ) + 𝑃4 ∗ 𝑙𝑜𝑔2 ( ) 𝑃1 𝑃2 𝑃3 𝑃4 =
1 1 1 1 1 1 1 1 ∗ 𝑙𝑜𝑔2 ( ) + ∗ 𝑙𝑜𝑔2 ( ) + ∗ 𝑙𝑜𝑔2 ( ) + ∗ 𝑙𝑜𝑔2 ( ) 1 1 1 1 2 4 8 8 2 4 8 8
=
1 1 1 1 ∗ 𝑙𝑜𝑔2 (2) + ∗ 𝑙𝑜𝑔2 (4) + ∗ 𝑙𝑜𝑔2 (8) + ∗ 𝑙𝑜𝑔2 (8) 2 4 8 8
=
1 1 1 1 ∗ (1) + ∗ (2) + ∗ (3) + ∗ (3) 2 4 8 8
=
1 1 3 3 + + + 2 2 8 8
=
𝟕 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐 𝟒
≈
𝟏. 𝟕𝟓 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐
b) La cantidad de información transmitida en el mensaje BDA 𝐵𝐷𝐴
⟶ 𝑃(𝐵𝐷𝐴) = 𝑃(𝐵) ∗ 𝑃(𝐷) ∗ 𝑃(𝐴) 1
Por ser elementos estadísticamente independientes 1
1
1
𝑃(𝐵𝐷𝐴) = 𝑃2 ∗ 𝑃4 ∗ 𝑃1 = (4) (8) (2) = 64 1 1 𝐼(𝐵𝐷𝐴) = 𝑙𝑜𝑔2 ( ) = 𝑙𝑜𝑔2 ( ) = 𝑙𝑜𝑔2 (64) = 𝑙𝑜𝑔2 (26 ) = 𝟔 𝒃𝒊𝒕𝒔 1 𝑃(𝐵𝐷𝐴) 64 c) Encontrar un código Huffman binario para codificar dicha fuente y su correspondiente longitud promedio. 𝑆𝑒𝑎 𝑋 = {0,1} el alfabeto código Símbolo P1 P2 P3 P4
Fuente original Probabilidad 1/2 1/4 1/8 1/8
Código 0 10 110 111
S1 1/2 1/4 1/4
Codificación de Huffman C1 S2 0 1/2 10 1/2 11
C2 0 1
𝐿̅ = ∑4𝑖=1 𝑃𝑖 ∗ 𝑙𝑖 ; 𝑠𝑖𝑒𝑛𝑑𝑜 ∶
𝑙1 = longitud de la palabra código de S1 𝑙2 = longitud de la palabra código de S2 𝑙3 = longitud de la palabra código de S3 𝑙4 = longitud de la palabra código de S4
𝐿̅ =
1 1 1 1 ∗ (1) + ∗ (2) + ∗ (3) + ∗ (3) 2 4 8 8
𝐿̅ =
1 1 3 3 + + + 2 2 8 8
̅ = 𝟕 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐 ≈ 𝟏. 𝟕𝟓 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐 𝑳 𝟒 d) Encontrar el código Huffman binario para codificar la segunda extensión de dicha fuente y su correspondiente longitud promedio. 𝑆 = {𝐴, 𝐵, 𝐶, 𝐷} Para su segunda extensión se tiene: 𝑛 = 2, 𝑞 = 4
⟶
𝑞 𝑛 = 42 = 16 𝑒𝑙𝑒𝑚𝑒𝑛𝑡𝑜𝑠 𝑒𝑛 𝑙𝑎 𝑒𝑥𝑡𝑒𝑛𝑠𝑖ó𝑛
Símbolo 1
𝝈𝒊 𝜎1
𝝈𝒊 = (𝑺𝒊𝟏, 𝑺𝒊𝟐) AA
2
𝜎2
AB
3
𝜎3
AC
4
𝜎4
AD
5
𝜎5
BA
6
𝜎6
BB
7
𝜎7
BC
8
𝜎8
BD
9
𝜎9
CA
10
𝜎10
CB
11
𝜎11
CC
12
𝜎12
CD
13
𝜎13
DA
14
𝜎14
DB
15
𝜎15
DC
16
𝜎16
DD
𝑷(𝝈𝒊 ) = 𝑷(𝑺𝒊𝟏) ∗ 𝑷(𝑺𝒊𝟐) 1 1 1 𝑃1 ∗ 𝑃1 = ( ) ∗ ( ) = 2 2 4 1 1 1 𝑃1 ∗ 𝑃2 = ( ) ∗ ( ) = 2 4 8 1 1 1 𝑃1 ∗ 𝑃3 = ( ) ∗ ( ) = 2 8 16 1 1 1 𝑃1 ∗ 𝑃4 = ( ) ∗ ( ) = 2 8 16 1 1 1 𝑃2 ∗ 𝑃1 = ( ) ∗ ( ) = 4 2 8 1 1 1 𝑃2 ∗ 𝑃2 = ( ) ∗ ( ) = 4 4 16 1 1 1 𝑃2 ∗ 𝑃3 = ( ) ∗ ( ) = 4 8 32 1 1 1 𝑃2 ∗ 𝑃4 = ( ) ∗ ( ) = 4 8 32 1 1 1 𝑃3 ∗ 𝑃1 = ( ) ∗ ( ) = 8 2 16 1 1 1 𝑃3 ∗ 𝑃2 = ( ) ∗ ( ) = 8 4 32 1 1 1 𝑃3 ∗ 𝑃3 = ( ) ∗ ( ) = 8 8 64 1 1 1 𝑃3 ∗ 𝑃4 = ( ) ∗ ( ) = 8 8 64 1 1 1 𝑃4 ∗ 𝑃1 = ( ) ∗ ( ) = 8 2 16 1 1 1 𝑃4 ∗ 𝑃2 = ( ) ∗ ( ) = 8 4 32 1 1 1 𝑃4 ∗ 𝑃3 = ( ) ∗ ( ) = 8 8 64 1 1 1 𝑃4 ∗ 𝑃4 = ( ) ∗ ( ) = 8 8 64
Para el código Huffman tenemos: Símbolos
Fuente Probabilidad
𝜎1 𝜎2 𝜎5 𝜎3 𝜎4 𝜎6 𝜎9 𝜎13 𝜎7 𝜎8 𝜎10 𝜎14 𝜎11 𝜎12 𝜎15 𝜎16
1/4 1/8 1/8 1/16 1/16 1/16 1/16 1/16 1/32 1/32 1/32 1/32 1/64 1/64 1/64 1/64
S5 1/4 1/8 1/8 1/16 1/16 1/16 1/16 1/16 1/16 1/16 1/16
S11
C5 10 110 111 0100 0101 0110 0111 0000 0001 0010 0011
Código final 10 110 111 0111 0000 0001 0010 0011 01010 01011 01100 01101 010000 010001 010010 010011
S1 1/4 1/8 1/8 1/16 1/16 1/16 1/16 1/16 1/32 1/32 1/32 1/32 1/32 1/64 1/64
C1
S2
C2
10 110 111 0111 0000 0001 0010 0011 01001 01010 01011 01100 01101 010000 010001
1/4 1/8 1/8 1/16 1/16 1/16 1/16 1/16 1/32 1/32 1/32 1/32 1/32 1/32
10 110 111 0111 0000 0001 0010 0011 01000 01001 01010 01011 01100 01101
S6 1/4 1/8 1/8 1/8 1/16 1/16 1/16 1/16 1/16 1/16
C6 10 001 110 111 0100 0101 0110 0111 0000 0001
S7 1/4 1/8 1/8 1/8 1/8 1/16 1/16 1/16 1/16
C7 10 000 001 110 111 0100 0101 0110 0111
S8 1/4 1/8 1/8 1/8 1/8 1/8 1/16 1/16
10 011 000 001 110 111 0100 0101
S12
C12
S13
C13
S14
C14
C11
1/4 1/4 1/4
10 11 00
1/4 1/4 1/4
10 11 00
1/8 1/8
010 011
1/4
01
1/2 1/4 1/4
0 10 11
1/2 1/2
C8
S3 1/4 1/8 1/8 1/16 1/16 1/16 1/16 1/16 1/16 1/32 1/32 1/32 1/32
S9 1/4 1/8 1/8 1/8 1/8 1/8 1/8
C3
𝑖=1
;
C4
10 110 111 0110 0111 0000 0001 0010 0011 01000 01001 01010 01011
1/4 1/8 1/8 1/16 1/16 1/16 1/16 1/16 1/16 1/16 1/32 1/32
10 110 111 0101 0110 0111 0000 0001 0010 0011 01000 01001
C9 10 010 011 000 001 110 111
S10 1/4 1/4 1/8 1/8 1/8 1/8
C10 10 11 010 011 000 001
0 1
16
̅̅̅ 𝐿2 = ∑ 𝑙𝜎𝑖 ∗ 𝑃(𝜎𝑖 )
S4
𝑙𝜎𝑖 = 𝐿𝑜𝑛𝑔𝑖𝑡𝑢𝑑 𝑑𝑒 𝑙𝑎 𝑝𝑎𝑙𝑎𝑏𝑎𝑟𝑎 𝑐ó𝑑𝑖𝑔𝑜 𝑑𝑒 𝜎𝑖
̅̅̅ 𝐿2 =
1 1 1 1 1 1 1 1 1 ∗ (2) + ∗ (3) + ∗ (3) + ∗ (4) + ∗ (4) + ∗ (4) + ∗ (4) + ∗ (4) + ∗ (5) 4 8 8 16 16 16 16 16 32
+
1 1 1 1 1 1 1 ∗ (5) + ∗ (5) + ∗ (5) + ∗ (6) + ∗ (6) + ∗ (6) + ∗ (6) 32 32 32 64 64 64 64 ̅̅̅ 𝐿2 =
1 1 1 1 1 ∗ (2) + ∗ (3)(2) + ∗ (4)(5) + ∗ (5)(4) + ∗ (6)(4) 4 8 16 32 64 ̅̅̅ 𝐿2 =
1 3 5 5 3 + + + + 2 4 4 8 8
̅̅̅ 𝑳𝟐 =
𝟕 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐 𝟐
6. Considerar una fuente de Markov binaria de primer orden, en la cual la probabilidad de salir o quedarse en el estado 0 es p y la probabilidad de salir o quedarse en el estado 1 es q. Dibujar el diagrama de estados, calcular la probabilidad de los estados, la entropía la entropía del a fuente afín. 𝑆𝑀1 = {0,1}
𝑞 𝑚 = 21 = 2 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝑝𝑜𝑠𝑖𝑏𝑙𝑒𝑠
𝑞 = 2, 𝑚 = 1
Diagrama de estados
p 0
p
q
1
q
Probabilidad de estados 𝑃(0/0) = 𝑃(1/0) = 𝑝 𝑃(1/1) = 𝑃(0/1) = 𝑞 𝑃(0/0) + 𝑃(1/0) = 1
𝑃(1/1) + 𝑃(0/1) = 1
𝑝+𝑝 = 1
𝑞+𝑞 =1
2𝑝 = 1
2𝑞 = 1
𝑝 = 1/2
𝑞 = 1/2
Entonces, el nuevo diagrama de estados será: P(0/0)=0.5
P(0/1)=0.5
P(1/0)=0.5
0
1
P(1/1)=0.5
𝑃(0) = 𝑃(0/0)𝑃(0) + 𝑃(0/1)𝑃(1) 𝑃(1) = 𝑃(1/1)𝑃(1) + 𝑃(1/0)𝑃(0) 1 1 𝑃(0) = 𝑃(0) + 𝑃(1) 2 2 1 1 𝑃(1) = 𝑃(1) + 𝑃(0) 2 2 { 𝑃(0) + 𝑃(1) = 1
1 1 𝑃(0) = 𝑃(1) 2 2 𝑃(0) + 𝑃(1) = 1
𝑃(0) + 𝑃(0) = 1 2𝑃(0) = 1
⟶
⇒ 𝑷(𝟎) = 𝑷(𝟏) =
𝟏 𝟐
𝑃(0) =
1 2
𝑃(0) = 𝑃(1) 𝑃(0) + 𝑃(1) = 1
La entropía
𝑺𝒋 0 0 1 1
𝑺𝒊 0 1 0 1
𝑷(𝑺_𝒊/𝑺_𝒋 ) 1/2 1/2 1/2 1/2
𝐻(𝑆) = ∑ 𝑷(𝑺𝒋 , 𝑺𝒊 ) ∗ 𝒍𝒐𝒈𝟐 [ 𝑆 𝑀+1
𝑷(𝑺𝒋 ) 1/2 1/2 1/2 1/2
𝑷(𝑺𝒋 , 𝑺𝒊 ) = 𝑷(𝑺_𝒊/𝑺_𝒋 )𝑷(𝑺𝒋 ) 1/4 1/4 1/4 1/4
𝟏 ] 𝑷(𝑺𝒊 /𝑺𝒋 )
1 1 1 1 1 1 1 1 1 1 = 𝑙𝑜𝑔2 ( ) + 𝑙𝑜𝑔2 ( ) + 𝑙𝑜𝑔2 ( ) + 𝑙𝑜𝑔2 ( ) = (4) 𝑙𝑜𝑔2 ( ) = 𝑙𝑜𝑔2 (2) 1 1 1 1 1 4 4 4 4 4 2 2 2 2 2
= 1𝑏𝑖𝑡𝑠/𝑠í𝑚𝑏𝑜𝑙𝑜 En este caso, las probabilidades de estado resultan ser las probabilidades de la fuente, entonces, para la fuente afín: 1
1 𝑃 = 𝑃(0) = 1/2 𝐻(𝑆𝑀1 ) = ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2 ( ) ; 𝑑𝑜𝑛𝑑𝑒 𝑜 𝑃 𝑃𝑖 1 = 𝑃(1) = 1/2 ∗
𝑖=0
Como los símbolos son equiprobables la entropía también la podemos obtener mediante la expresión: 𝐻(𝑆𝑀1 ∗ ) = 𝑙𝑜𝑔2 (𝑞) = 𝑙𝑜𝑔2 (2) = 1 𝑏𝑖𝑡𝑠/𝑠í𝑚𝑏𝑜𝑙𝑜 7. Problema de Abramson: Considerar una fuente de Markov binaria de segundo orden en que la probabilidad de emitir un 0 o un 1 no depende del símbolo anterior sino del emitido dos lugares antes. La probabilidad de que un símbolo coincida con el emitido dos lugares antes es igual a 0.9 y, la probabilidad de que sea distinto es 0.1. Dibujar el diagrama de estados, calcular la probabilidad de los estados, la entropía de la fuente original y de la fuente afín correspondiente. 𝑞 = 2, 𝑚 = 2
⟶
𝑞 𝑚 = 22 = 4 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝑝𝑜𝑠𝑖𝑏𝑙𝑒𝑠
Diagrama de estados 𝑷(𝟎/𝟎𝟎) = 𝟎. 𝟗
00
𝑷(𝟎/𝟎𝟏) = 𝟎. 𝟗
10
01 𝑷(𝟏/𝟏𝟎) = 𝟎. 𝟗
11
𝑷(𝟏/𝟏𝟏) = 𝟎. 𝟗
1) 𝑃(00) = 𝑃(0/00)𝑃(00) + 𝑃(0/10)𝑃(10) 2) 𝑃(01) = 𝑃(1/00)𝑃(00) + 𝑃(1/10)𝑃(10) 3) 𝑃(11) = 𝑃(1/01)𝑃(01) + 𝑃(1/11)𝑃(11) 4) {𝑃(10) = 𝑃(0/11)𝑃(11) + 𝑃(0/01)𝑃(01)
𝑃(00) = 0.9𝑃(00) + 0.1𝑃(10) 𝑃(01) = 0.1𝑃(00) + 0.9𝑃(10) 𝑃(11) = 0.1𝑃(01) + 0.9𝑃(11) {𝑃(10) = 0.1𝑃(11) + 0.9𝑃(01)
Para mayor comodidad se hará representarán las probabilidades de la siguiente manera: 𝑎 = 𝑃(00) 𝑏 = 𝑃(01) 𝑐 = 𝑃(10) 𝑑 = 𝑃(11)
𝑎 = 0.9𝑎 + 0.1𝑐 { 𝑏 = 0.1𝑎 + 0.9𝑐 𝑑 = 0.1𝑏 + 0.9𝑑 𝑐 = 0.1𝑑 + 0.9𝑏
0.1𝑎 = 0.1𝑐 {𝑏 = 0.1𝑎 + 0.9𝑐 0.1𝑑 = 0.1𝑏 𝑐 = 0.1𝑑 + 0.9𝑏
1) 𝑎=𝑐 2) 𝑏 = 0.1𝑎 + 0.9𝑐𝑐 { 𝑑=𝑏 3) 4) 𝑐 = 0.1𝑑 + 0.9𝑏𝑏
𝑇𝑎𝑚𝑏𝑖é𝑛 ⇒
1) 𝑒𝑛 2) 𝑏 = 0.1𝑐 + 0.9𝑐 = 𝑐 3) 𝑒𝑛 4) 𝑐 = 0.1𝑑 + 0.9𝑑 = 𝑑
𝑎+𝑏+𝑐+𝑑 = 1 𝑐+𝑐+𝑐+𝑐 = 1 4𝑐 = 1 ⇒𝑐=
1 4
⇒ 𝑎 = 𝑏 = 𝑐 = 𝑑 = 1/2
Entonces las probabilidades de estado son: 𝑃(00) = 𝑆𝑗1 0 0 0 0 1 1 1 1
1 4
𝑃(01) = 𝑆𝑗1 0 0 1 1 0 0 1 1
1 4
𝑃(10) =
𝑃(𝑆𝑖 /𝑆𝑗1 , 𝑆𝑗2 ) 0.9 0.1 0.9 0.1 0.1 0.9 0.1 0.9
𝑆𝑖 0 1 0 1 0 1 0 1
1 4
𝑃(𝑆𝑗1 , 𝑆𝑗2 ) 1/4 1/4 1/4 1/4 1/4 1/4 1/4 1/4 ∑
𝐻(𝑆𝑀2 ) = ∑ 𝑃( 𝑆𝑗1 , 𝑆𝑗2 , 𝑆𝑖 ) ∗ 𝑙𝑜𝑔2 ( 𝑆 𝑀+1
=
𝑃(11) =
1 4
𝑃(𝑆𝑗1 , 𝑆𝑗2 , 𝑆𝑖 ) 0.225 0.025 0.225 0.025 0.025 0.225 0.025 0.225 1
1
) 𝑃(𝑆𝑖/𝑆𝑗1 , 𝑆𝑗2 )
1 1 1 1 𝐻(𝑆𝑀2 ) = 0.225𝑙𝑜𝑔2 ( ) + 0.025𝑙𝑜𝑔2 ( ) + 0.225𝑙𝑜𝑔2 ( ) + 0.025𝑙𝑜𝑔2 ( ) 0.9 0.1 0.9 0.1 1 1 1 1 + 0.025𝑙𝑜𝑔2 ( ) + 0.225𝑙𝑜𝑔2 ( ) + 0.025𝑙𝑜𝑔2 ( ) + 0.225𝑙𝑜𝑔2 ( ) 0.1 0.9 0.1 0.9 𝐻(𝑆𝑀2 ) = 4(0.225)𝑙𝑜𝑔2 (
1 1 ) + 4(0.025)𝑙𝑜𝑔2 ( ) 0.9 0.1
𝐻(𝑆𝑀2 ) = 0.4689956 𝑏𝑖𝑡𝑠/𝑠í𝑚𝑏𝑜𝑙𝑜 Para la entropía de la fuente afín necesitamos las probabilidades de los elementos de la fuente, y los obtenemos mediante la siguiente expresión: 1
𝑃(𝑆𝑖 ) = ∑ 𝑃(𝑆𝑗 , 𝑆𝑖 ) ; 𝑆𝑖𝑒𝑛𝑑𝑜 𝑗=0
𝑃(𝑆0 ) = 𝑃(𝑆0 , 𝑆0 ) + 𝑃(𝑆1 , 𝑆0 ) 𝑃(0) = 𝑃(00) + 𝑃(10) =
𝑆0 = 0 𝑆1 = 1
𝑃(𝑆1 ) = 𝑃(𝑆0 , 𝑆1 ) + 𝑃(𝑆1 , 𝑆1 )
1 1 1 + = 4 4 2
𝑃(1) = 𝑃(01) + 𝑃(11) =
1 1 1 + = 4 4 2
𝑞
1 ⇒ 𝐻(𝑆𝑀2 ∗ ) = ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2 ( ) 𝑃𝑖 𝑖=1
Pero como las probabilidades de los elementos de la fuente son equiprobables también podemos usar: 𝐻(𝑆𝑀2 ∗ ) = 𝑙𝑜𝑔2 (𝑞) = 𝑙𝑜𝑔2 (2) = 1 𝑏𝑖𝑡𝑠/𝑠í𝑚𝑏𝑜𝑙𝑜
8. Demuestre que Hr(S) < L Utilicemos la expresión que define la entropía para una fuente de información de memoria nula para comenzar con nuestra demostración: Sea una fuente de información de memoria nula (FIMN) S, cuyos símbolos 𝑠1 , 𝑠2 , 𝑠3 , … , 𝑠𝑞 tienen probabilidades 𝑃1 , 𝑃2 , 𝑃3 , … , 𝑃𝑞 respectivamente. Tenemos, entonces: 𝑞
1 𝐻(𝑆) = ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2 ( ) 𝑃𝑖 𝑖=1
Expresión que para un manejo más sencillo lo podemos escribir de la siguiente manera: 𝑞
𝑞
𝐻(𝑆) = ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2
(𝑃𝑖)−1
= − ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2 (𝑃𝑖)
𝑖=1
𝑖=1
También: Sean 𝑄1 , 𝑄2 , … , 𝑄𝑞 números tales que 𝑄𝑖 ≥ 0 con valores de 𝑖 = 1,2,3, … , 𝑞 y cuya 𝑞
sumatoria ∑𝑖=0 𝑄𝑖 = 1. Con todas estas especificaciones, recordemos la desigualdad de Gibbs, pues trataremos de aplicarla para nuestra demostración: 𝑞
𝑞
𝑖=1
𝑖=1
1 1 ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔 ( ) ≤ ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔 ( ) 𝑃𝑖 𝑄𝑖 Cuya igualdad se cumple solo si 𝑃𝑖 = 𝑄𝑖 . La parte derecha de esta expresión, se ve claramente que es la definición de entropía, así que: 𝑞
𝑞
1 𝐻(𝑆) ≤ ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔 ( ) 𝑄𝑖
𝐻(𝑆) ≤ − ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔(𝑄𝑖 )
⟶
𝑖=1
(1)
𝑖=1
Ahora supongamos un código bloque que codifica estos símbolos en un alfabeto de r símbolos y 𝑙𝑖 la longitud de la palabra correspondiente a 𝑠𝑖 . Como se dijo antes, la ecuación (1) es válida solamente para el conjunto de valores de 𝑄𝑖 cuya suma sea la unidad. Por lo tanto, este conjunto de números también se pueden expresar como:
𝑄𝑖 =
𝑟 −𝑙𝑖
(2)
∑𝑞𝑖=1 𝑟−𝑙𝑖
Si reemplazamos la ecuación (2) en la (1) tenemos: 𝑞
𝑟−𝑙𝑖
𝐻(𝑆) ≤ − ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔 ( 𝑞 ) ∑𝑗=1 𝑟 −𝑙𝑗 𝑖=1 𝑞
𝑞
𝑞
𝐻(𝑆) ≤ − ∑ 𝑃𝑖 ∗ log(𝑟−𝑙𝑖 ) + ∑ 𝑃𝑖 ∗ log (∑ 𝑟 −𝑙𝑗 ) 𝑖=1 𝑞
𝑞
𝑞
𝐻(𝑆) ≤ ∑ 𝑃𝑖 ∗ 𝑙𝑖 ∗ log(𝑟) + ∑ 𝑃𝑖 ∗ log (∑ 𝑟 𝑖=1
𝑗=1
𝑖=1
𝑖=1
𝑗=1
𝑞 −𝑙𝑗
);
𝑃𝑒𝑟𝑜 ∑ 𝑃𝑖 = 1 𝑖=1
𝑞
𝑞
𝐻(𝑆) ≤ log(𝑟) ∑ 𝑃𝑖 ∗ 𝑙𝑖 + log (∑ 𝑟 −𝑙𝑗 ) ;
𝑃𝑒𝑟𝑜 𝐿̅ = ∑ 𝑃𝑖 ∗ 𝑙𝑖
𝑗=1
𝑖=1
siendo 𝐿̅ la longitud promedio de palabra código
𝑞
𝑖=1
𝑞
𝐻(𝑆) ≤ 𝐿̅ ∗ log(𝑟) + log (∑ 𝑟 −𝑙𝑗 ) 𝑗=1
Si quiero que mi código sea instantáneo, entonces, el segundo logaritmo de la parte derecha de la 𝑞 expresión contiene el término ∑𝑗=1 𝑟 −𝑙𝑗 que según la inecuación de Kraft, tiene que ser menor o igual que 1 y como cualquier logaritmo dentro de ese rango es menor o igual que cero, entonces podemos omitirlo quedando finalmente nuestra expresión así: 𝐻(𝑆) ≤ 𝐿̅ ∗ log(𝑟) También 𝐻(𝑆) ≤ L̅ log(𝑟) Siendo la parte izquierda, la entropía expresada en unidades r-arias, lo que se escribe de la forma: 𝑯𝒓(𝑺) ≤ 𝐋̅ Que es lo que queríamos demostrar. 9. Considere una fuente de Markov binaria de segundo orden con probabilidades condicionales: 𝑷(𝟏/𝟎𝟎) = 𝑷(𝟎/𝟎𝟎) = 𝟎. 𝟓
𝑷(𝟏/𝟎𝟏) = 𝑷(𝟎/𝟏𝟎) = 𝟎. 𝟕
𝑷(𝟎/𝟎𝟏) = 𝑷(𝟏/𝟏𝟎) = 𝟎. 𝟑
𝑷(𝟎/𝟏𝟏) = 𝟎. 𝟐
𝑷(𝟏/𝟏𝟏) = 𝟎. 𝟖
Determinar: a) El correspondiente diagrama de estados 𝑷(𝟎/𝟎𝟎) = 𝟎. 𝟓
00
𝑷(𝟎/𝟎𝟏) = 𝟎. 𝟑
10
01 𝑷(𝟏/𝟏𝟎) = 𝟎. 𝟑
11
𝑷(𝟏/𝟏𝟏) = 𝟎. 𝟖
b) La entropía de la fuente de Markov 𝐻(𝑆𝑀2 ) = ∑ 𝑃( 𝑆𝑗1 , 𝑆𝑗2 , 𝑆𝑖 ) ∗ 𝑙𝑜𝑔2 ( 𝑆 𝑀+1
1
) 𝑃(𝑆𝑖/𝑆𝑗1 , 𝑆𝑗2 )
Pero para obtener 𝑃(𝑆𝑗1 , 𝑆𝑗2 , 𝑆𝑖 ) necesitamos las probabilidades de estado: 1) 𝑃(00) = 𝑃(0/00)𝑃(00) + 𝑃(0/10)𝑃(10) 2) 𝑃(01) = 𝑃(1/00)𝑃(00) + 𝑃(1/10)𝑃(10) 3) 𝑃(11) = 𝑃(1/01)𝑃(01) + 𝑃(1/11)𝑃(11) 4) {𝑃(10) = 𝑃(0/11)𝑃(11) + 𝑃(0/01)𝑃(01)
𝑃(00) = 0.5𝑃(00) + 0.7𝑃(10) 𝑃(01) = 0.5𝑃(00) + 0.3𝑃(10) 𝑃(11) = 0.7𝑃(01) + 0.8𝑃(11) {𝑃(10) = 0.2𝑃(11) + 0.3𝑃(01)
Para mayor comodidad se hará representarán las probabilidades de la siguiente manera: 𝑎 = 𝑃(00) 𝑏 = 𝑃(01) 𝑐 = 𝑃(10) 𝑑 = 𝑃(11)
𝑎 = 0.5𝑎 + 0.7𝑐 { 𝑏 = 0.5𝑎 + 0.3𝑐 𝑑 = 0.7𝑏 + 0.8𝑑 𝑐 = 0.2𝑑 + 0.3𝑏
0.5𝑎 = 0.7𝑐 𝑏 = 0.5𝑎 + 0.3𝑐 { 0.2𝑑 = 0.7𝑏 𝑐 = 0.2𝑑 + 0.3𝑏
1) 𝑎 = 1.4𝑐 2) 𝑏 = 0.5𝑎 + 0.3𝑐 { 𝑑 = 3.5𝑏 3) 𝑐 = 0.2𝑑 + 0.3𝑏 4)
1) 𝑒𝑛 2) 𝑏 = 0.7𝑐 + 0.3𝑐 = 𝑐 3) 𝑒𝑛 4) 𝑐 = 0.7𝑏 + 0.3𝑏 = 𝑏
𝑇𝑎𝑚𝑏𝑖é𝑛
𝑎+𝑏+𝑐+𝑑 =1
⇒
1.4𝑐 + 𝑐 + 𝑐 + 3.5𝑐 = 1 6.9𝑐 = 1 ⇒𝑐=
𝑆𝑗1 0 0 0 0 1 1 1 1
𝑆𝑗1 0 0 1 1 0 0 1 1
𝑆𝑖 0 1 0 1 0 1 0 1
𝑎 = 1.4𝑐 𝑏=𝑐 𝑐=𝑐 𝑑 = 3.5𝑐
𝑎 = 1.4𝑐 = 0.203 𝑏 = 𝑐 = 0.145 ⟹ 𝑐 = 0.145 𝑑 = 3.5𝑐 = 0.5075
1 = 0.145 6.9
𝑃(𝑆𝑖 /𝑆𝑗1 , 𝑆𝑗2 ) 0.5 0.5 0.3 0.7 .7 0.3 0.2 0.8
𝑃(𝑆𝑗1 , 𝑆𝑗2 ) 0.203 0.203 0.145 0.145 0.145 0.145 0.5075 0.5075 ∑
=
𝑃(𝑆𝑗1 , 𝑆𝑗2 , 𝑆𝑖 ) 0.1015 0.1015 0.0435 0.1015 0.1015 0.0435 0.1015 0.406 1
𝐻(𝑆𝑀2 ) = ∑ 𝑃( 𝑆𝑗1 , 𝑆𝑗2 , 𝑆𝑖 ) ∗ 𝑙𝑜𝑔2 ( 𝑆 𝑀+1
1
) 𝑃(𝑆𝑖/𝑆𝑗1 , 𝑆𝑗2 )
1 1 1 1 ) + 0.1015𝑙𝑜𝑔2 ( ) + 0.0435𝑙𝑜𝑔2 ( ) + 0.1015𝑙𝑜𝑔2 ( ) 0.5 0.5 0.3 0.7 1 1 1 1 + 0.1015𝑙𝑜𝑔2 ( ) + 0.0435𝑙𝑜𝑔2 ( ) + 0.1015𝑙𝑜𝑔2 ( ) + 0.406𝑙𝑜𝑔2 ( ) 0.7 0.3 0.2 0.8
𝐻(𝑆𝑀2 ) = 0.1015𝑙𝑜𝑔2 (
𝐻(𝑆𝑀2 ) = 0.1015 + 0.1015 + 0.0756 + 0.0522 + 0.0522 + 0.0756 + 0.2357 + 0.1307 𝑯(𝑺𝑴𝟐 ) = 𝟎. 𝟖𝟐𝟓 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐 c) La probabilidad de los símbolos 1
𝑃(𝑆𝑖 ) = ∑ 𝑃(𝑆𝑗 , 𝑆𝑖 ) ; 𝑆𝑖𝑒𝑛𝑑𝑜 𝑗=0
𝑆0 = 0 𝑆1 = 1
𝑃(𝑆0 ) = 𝑃(𝑆0 , 𝑆0 ) + 𝑃(𝑆1 , 𝑆0 ) 𝑷(𝟎) = 𝑷(𝟎𝟎) + 𝑷(𝟏𝟎) = 𝟎. 𝟐𝟎𝟑 + 𝟎. 𝟏𝟒𝟓 = 𝟎. 𝟑𝟒𝟖
𝑃(𝑆1 ) = 𝑃(𝑆0 , 𝑆1 ) + 𝑃(𝑆1 , 𝑆1 ) 𝑷(𝟏) = 𝑷(𝟎𝟏) + 𝑷(𝟏𝟏) = 𝟎. 𝟏𝟒𝟓 + 𝟎. 𝟓𝟎𝟕𝟓 = 𝟎. 𝟔𝟓𝟐𝟓 d) La entropía de la fuente afín 𝑞
1 ⇒ 𝐻(𝑆𝑀2 ) = ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2 ( ) 𝑃𝑖 ∗
𝑖=1
1 1 𝐻(𝑆𝑀2 ∗ ) = 0.348𝑙𝑜𝑔2 ( ) + 0.6525𝑙𝑜𝑔2 ( ) 0.348 0.6525 𝐻(𝑆𝑀2 ∗ ) = 0.5299 + 0.4019 𝑯(𝑺𝑴𝟐 ∗ ) = 𝟎. 𝟗𝟑𝟏𝟖 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐 e) El alfabeto, la memoria y la entropía de la extensión de tercer orden Para la memoria de la extensión tenemos: 𝑚 = 2 , 𝑛 = 3, 𝝁=
𝑞=2
𝑞 𝑛 = 23 = 8 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝑝𝑜𝑠𝑖𝑏𝑙𝑒𝑠
𝒎 𝟐 = ≈ 𝟎. 𝟔𝟔𝟔𝟕 𝒏 𝟑
⟶
𝝁=𝟏
Entonces, la tercera extensión de la fuente de Markov es de orden 1 El alfabeto de la extensión será: 𝑺𝟑 𝑴𝟏 = {𝟎𝟎𝟎, 𝟎𝟎𝟏, 𝟎𝟏𝟎, 𝟎𝟏𝟏, 𝟏𝟎𝟎, 𝟏𝟎𝟏, 𝟏𝟏𝟎, 𝟏𝟏𝟏} La entropía de la extensión se puede calcular mediante la fórmula: 𝑯(𝑺𝟑 𝑴𝟏 ) = 𝒏 ∗ 𝑯(𝑺𝑴𝟐 ) = 𝟑 ∗ (𝟎. 𝟖𝟐𝟓) = 𝟐. 𝟒𝟕𝟓 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐
