Когда дочери подросли, Александра Степановна переехала в Петербург под покровительство Натальи Кирилловны Загряжской, урожденной графини Разумовской, «кавалерственной дамы ордена святой Екатерины». Наталья Кирилловна приходилась родной теткой сестрам Софье, Екатерине и младшенькой Наталье. Она занимала высокое положение при дворе, и по ее рекомендации сестры были приняты во фрейлины к императрице Елизавете Алексеевне, жене Александра I.

Красота Натальи Ивановны заблистала при дворе. В нее влюбился кавалергард А. Я. Охотников, фаворит императрицы. От него у императрицы была дочь, не дожившая и до трех лет. В октябре 1806 года человек, подосланный якобы великим князем Константином Павловичем, тяжело ранил Охотникова при выходе из театра, и в январе 1807 года он умер.

Возможно, чтобы замять эту историю, Наталью Ивановну выдали замуж за Николая Афанасьевича Гончарова, который был чрезвычайно счастлив происшедшим, потому что, как упоминалось, был сильно влюблен в свою избранницу.

Венчание фрейлин, по обычаю, совершалось в дворцовой церкви. Не была исключением и эта свадьба. В камер-фурьерском журнале матери Александра I императрицы Марии Федоровны есть запись, датированная 27 января 1807 года, в которой подробно описывается бракосочетание Натальи Ивановны и Николая Афанасьевича. По странному стечению обстоятельств, ровно через тридцать лет муж их дочери Натальи Николаевны стрелялся на дуэли, отстаивая «честь жены». 27 января 1837 года Пушкин был смертельно ранен.

На венчании присутствовала вся царская фамилия: император Александр I, императрица Елизавета Алексеевна, вдовствующая императрица, супруга Павла I, Мария Федоровна, великие князья Михаил и Николай — будущий император Николай I, великие княжны Екатерина и Анна.

Перед венчанием Наталья Ивановна была «препровождена во внутренние покои к государыне императрице Марии Федоровне и убираема была бриллиантовыми к венцу наколками».

Много уже говорено о красоте Натальи Ивановны, но и ее супруг, Николай Афанасьевич, был под стать ей. Высокий, стройный, с классически правильными чертами лица, богато одаренный природой, он с детства был окружен самыми нежными заботами как единственный ребенок в семье. По повелению императрицы Екатерины с самого рождения он был зачислен капралом в Конный полк. Эта монаршая милость пришлась не по вкусу матери, которая считала, что единственный наследник крупного майората не может подвергаться тяготам и лишениям военной службы. Тщетно рвался Николай Афанасьевич к военной карьере — мать была непреклонна. Это сопротивление задушевным внутренним стремлениям молодого человека оставило горький след во всей его жизни. Однако мать приложила все старание, чтобы сын получил домашнее образование на уровне самых высоких требований того времени.

В 1808 году Николай Афанасьевич получил коллежского асессора, перевелся в Москву и поступил на должность секретаря московского губернатора. Медовый месяц и первые годы протекли для четы Гончаровых в упоении любви и радостях молодой супружеской жизни. Но постепенно тучи стали появляться на безоблачном небосклоне. Отец Афанасий Николаевич «хозяйничал» на Полотняном Заводе. Он всячески отдалял своего сына от дел, скрывая свои безумные любовные траты. Молодой человек слепо верил в неприкосновенность гончаровских миллионов до той минуты, когда старик, потеряв спокойствие ввиду приближения грозной катастрофы, открыл ему неутешительную правду. По своему обычаю, не задумываясь о последствиях, Афанасий Николаевич свалил тяжелую ношу запутанных дел и подорванного кредита на неопытные плечи наследника и укатил на несколько лет за границу.

С Божьей помощью дела поправились. Николай Афанасьевич без сожаления отказался от праздной московской жизни, переселился с семьей на Полотняный Завод и с неутомимой энергией принялся наводить порядок. Беззастенчивое растаскивание барского добра прекратилось, под зорким хозяйским оком снова заработали фабрики. За пять лет упорного труда Николаю Афанасьевичу удалось заделать отцовские прорехи. Сын высылал отцу большие суммы, удерживая его тем самым за границей. В 1811 году Николай Афанасьевич был награжден орденом Владимира IV степени «за приведение к должному устройству и усовершенствованию состояния в Калужской губернии фабрики полотняной и писчей бумаги».

Но наступил грозный 1812 год: наполеоновская война нарушила мир и равновесие Европы. Французы близко подошли к гончаровским владениям. В Полотняном Заводе некоторое время стоял со своим штабом фельдмаршал Кутузов. Комнаты, в которых он жил, сделались исторической реликвией и стали называться кутузовскими. Можно себе представить, сколько пищи для детской фантазии маленьких Гончаровых дал этот факт столь близкого соприкосновения судьбы Отечества с обычным течением времени родительского дома. Увы! Хранимый от французов, дом этот подвергся опустошительному нашествию собственного «иностранца». Афанасий Николаевич в самом начале войны сумел пробраться через границу и вернуться в Завод. Он привез с собой любовницу мадам Бабетт и стал требовать, чтобы ей оказывали все знаки внимания, положенные хозяйке дома. Этим событием чрезвычайно осложнились семейные отношения.

Ко всему прочему, старику показалось, что сын кичится перед ним своей деловитостью и умственным превосходством, и вместо признательности за поправку дел затаил к нему злобу. Нашлось немало приближенных к хозяину людей, которым хотелось бы вернуться к прежней безалаберной жизни. Они разжигали страсти, наушничая и раздувая недоброжелательство отца к сыну. Очень скоро от критики поведения Николая Афанасьевича перешли и к отмене его распоряжений. Какое-то время сын еще пытался удержать отца от бесхозяйственности и расточительства, но на открытый скандал не шел, однако в 1815 году Афанасий Николаевич полностью отстранил Николая Афанасьевича от дел.

Добрая душа Николая Афанасьевича доходила до отчаяния: он увидел, что его труды по восстановлению хозяйства разбиваются в прах в угоду мимолетному капризу отца (в одном из писем к нему он назвал себя «уничтоженной тварью»), но ничего нельзя было изменить. Огромная ответственность лежала на нем за судьбу уже собственных детей, которых к тому времени было шестеро: первенец и наследник майората Дмитрий, Екатерина, Иван, Александра, Наталья и новорожденный Сергей. Несмотря на то что первые годы после отстранения сына от дел Афанасий Николаевич выдавал его семье достаточное содержание — 40 тысяч рублей ежегодно, но Николай Афанасьевич теперь не мог обмануться, предчувствуя угрозу полного разорения. И его предчувствия, к сожалению, оправдались. После скоропостижной смерти Афанасия Николаевича в 1832 году оказалось, что он оставил в «наследство» своим потомкам полтора миллиона долга!

Обстоятельства жизни Николая Афанасьевича складывались так, чтобы беспощадно терзать напряженный ум и наболевшую душу, подготавливая взрыв рокового неизлечимого недуга, который, в свою очередь, не мог не отразиться на самочувствии всех членов его собственной семьи. Начало болезни Николая Афанасьевича относят к концу 1814 года. Сведения о недуге весьма противоречивы. Его считали «повредившимся в уме» — то ли вследствие падения с лошади, то ли благодаря наследственности со стороны матери. Скорее всего, он не был психически ненормальным. В юности мать не дала ему сделать военной карьеры, теперь, в его зрелые года, по воле отца оборвалась так прекрасно начавшаяся карьера преуспевающего промышленника. Надо полагать, что Николай Афанасьевич мог бы достичь высоких степеней на любом поприще, но разрыв с отцом послужил причиной к тому, что он запил. Жизнь надломилась.