Выборочное расхищение камней из Колизея, похоже, началось еще до 523 года, когда на арене были проведены последние игры. Первой жертвой стали мраморные сиденья, а также железные зажимы, скреплявшие травертиновые блоки. Однако самый серьезный ущерб был нанесен в эпоху позднего Средневековья, когда сильное землетрясение разрушило почти половину здания. На вывоз огромной кучи травертина, оставшейся после обрушения и прозванной «бедром Колизея», ушло более четырех столетий. В 1452 году один предприимчивый подрядчик вывез 2522 телеги камня.