Первоначально семья жила в Парк-хаусе, расположенном в Норфолке, поместье родственников по материнской линии Фермоев. В Элтроп, огромный замок со ста двадцатью комнатами, богатой библиотекой и картинной галереей, где находятся шедевры знаменитых художников, семья переехала позднее, когда граф Спенсер стал официальным наследником.
