Первым на избыточность в языке в этом понимании обратил внимание Клод Шеннон: Shannon C. E. Prediction and entropy of printed English // Bell System Technical Journal. 1951. 30 (1). Р. 50–64.