В центре комплекса сооружений, представляющих собой Тауэр, находится так называемая Белая цитадель. В Средние века бытовало мнение, что эта часть крепости была возведена еще во времена римского владычества, а потому ее нередко называли цитаделью Цезаря (например, в трагедии Шекспира «Ричард III»). На самом деле Белая цитадель построена Вильгельмом Завоевателем.