Хотя в 571 году правитель, испытывающий недостаток денег, лишил дворец последних бронзовых статуй, он продолжал использоваться по крайней мере еще столетие несколькими чиновниками, державшими конторы в углах огромного и разрушающегося комплекса. Сильные землетрясения начала IX века, вероятно, уничтожили приемные залы с высокими потолками, оставив после себя лунный пейзаж из нагромождения камня и черепицы. Путешественник XII столетия описал руины как мраморный карьер для римских церквей.