В 1843 году Бренуэлл получил место домашнего учителя в семье Робинсонов, владеющих земельными угодьями и проживающих в окрестностях Йорка. На это место его рекомендовала его сестра Энн, также работавшая в этой семье гувернанткой. Факт связи Бренуэлла с миссис Лидией Робинсон малодоказуем, и под угрозой скандала издатель книги Гаскелл согласился на изъятие двух первых изданий. Муж Элизабет Гаскелл вынужден был принести Лидии Скотт извинения от имени своей жены, и в третьем издании Гаскелл удалила многие детали этой истории. Супруг Лидии Робинсон имел сан священника; он был старше своей жены, которая через год после его смерти вышла замуж за сэра Эдварда Скотта.
