Примеры русифицированы, в частности использована русская версия азбуки Морзе. Численные оценки соответственно скорректированы. — Примеч. черев.

Строго говоря, это логарифм по основанию 2. Есть и другие определения логарифма. Например, вместо числа двоек можно взять количество десяток, которые надо перемножить, чтобы получить заданное число. Это будет определением логарифма по основанию 10. Нечего и говорить, что десяток для получения заданного числа понадобится меньше, чем двоек. Формальное физическое определение энтропии — это число раз, которое нужно перемножить на себя математическую постоянную е. Это «экспоненциальное» число примерно равно е ≈ 2,71828183. Иными словами, энтропия — это натуральный логарифм, или логарифм по основанию е, тогда как число битов (110 в нашем примере) — это логарифм по основанию 2. Натуральный логарифм немного меньше числа битов — примерно с коэффициентом 0,7. Так что для пуристов энтропия 110-битного сообщения равна 0,7x110, что составляет около 77. В этой книге я буду игнорировать разницу между битами и энтропией.