В физике, если имеется система, для которой указаны лишь некоторые глобальные макроскопические характеристики, такие как ее полная энергия и объем, в котором она находится, энтропией называется логарифм числа возможных микроскопических конфигураций системы (также называемых «микроскопическими состояниями»). Напомним, что логарифм числа, по существу, определяется как количество цифр его десятичного представления, стоящих перед запятой, минус один. Например, логарифм 10 равен 1, логарифм 100 равен 2, логарифм одного миллиона равен 6. Отметим также, что логарифм единицы равен нулю. Другими словами, логарифм L заданного числа N удовлетворяет условию: N = 10^L. Понятие энтропии было введено в середине XIX в. Рудольфом Клаузиусом, когда он пытался лучше понять основополагающую работу Сади Карно. Клаузиус показал, как можно определить энтропию системы, исходя из знания ее термодинамических характеристик, и предложил в качестве аксиомы хорошо известный всем второй принцип термодинамики, согласно которому энтропия изолированной системы может только возрастать. [Напомним, что первый принцип термодинамики гласит, что энергия сохраняется.] Несколько лет спустя венский физик Людвиг Больцман понял, что второй закон термодинамики имеет под собой статистические основания и что энтропия системы должна быть пропорциональна логарифму числа возможных микроскопических состояний. Это позволило осознать второй закон термодинамики как простое выражение естественной тенденции изолированных систем стремиться к беспорядку. Примером может служить рассмотренная выше система блох, которая из начального «упорядоченного» состояния спонтанно развивается, последовательно занимая всевозможные доступные состояния, и, таким образом, большую часть времени находится в некотором обобщенном состоянии, утратив свой «первоначальный порядок».