Информационный вес одного символа в алфавите, или количество информации, которое несет каждый символ, можно вычислить с помощью формулы Шеннона для энтропии источника дискретного сообщения. Для алфавита мощностью ( N ) количество информации ( i ), которое несет каждый символ, выражается в битах и определяется формулой:
[ i = \log_2(N) ]
Давайте заполним таблицу для разных значений ( N ):
( N = 8 )
[
i = \log_2(8) = 3 \text{ бита}
]
( N = 32 )
[
i = \log_2(32) = 5 \text{ бит}
]
( N = 64 )
[
i = \log_2(64) = 6 \text{ бит}
]
( N = 128 )
[
i = \log_2(128) = 7 \text{ бит}
]
( N = 256 )
[
i = \log_2(256) = 8 \text{ бит}
]
Таким образом, таблица информационного веса i для различных мощностей алфавита N выглядит следующим образом:
( N ) | Информационный вес ( i ) (в битах) |
8 | 3 |
32 | 5 |
64 | 6 |
128 | 7 |
256 | 8 |
Эта информация показывает, сколько бит необходимо для кодирования каждого символа из алфавита данной мощности.