Информационная энтропия – мера неопределенности или непредсказуемости информации, неопределенность появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации, приходящемуся на символ передаваемого сообщения.
