Як позначається кількість інформації у повідомленні?

Кількість інформації (i), необхідної визначення конкретного елемента, є логарифм на підставі 2 загальної кількості елементів (N).

Кількість речовини
,
РозмірністьN
Одиниці виміру
СІмоль

Повідомлення складається з безлічі символів, кожен з яких має свій інформаційний вага. Тому, щоб обчислити обсяг інформації всього повідомлення, потрібно кількість символів, наявних у повідомленні, помножити на інформаційний вага одного символу. Математично цей твір записується так: I = К · i.

Кожен символ деякого повідомлення має певну інформаційну вагу – несе фіксоване кількість інформації. Щоб визначити кількість інформації у повідомленні потрібно знати інформаційну вагу одного символу. Інформаційна вага символу залежить від кількості символів у алфавіті.