Анна родила Константину Николаевичу пятерых детей. Старший сын, Сергей, умер, не прожив и года. Но родились две дочери – Мария и Анна, а вслед за ними два сына – Измаил (дома его называли Маля) и Лев.

Во время рождения Льва Константин Николаевич находился в Париже, откуда написал дочери Марии: «Надеюсь, что через неделю я буду у Вас, расцелую Вас всех, дорогих милых моих деток, которых так давно не видал. Как, чай, Вы за это время выросли! Пожалуй, и не узнаю Вас. Радуюсь познакомиться с новым Вашим братцем Левушкой, которого еще не знаю. Рад очень, что Вы все его полюбили, да как и не любить милого новорожденного братца! Ты мне задаешь очень трудный вопрос, решить ваш спор с Нютой, кому из Вас принадлежит Лева, кому Маля? Я думаю, что Вы все принадлежите друг другу, оба братца Вам, а обе сестрички обоим братцам, а все вместе, и сестрицы и братцы, принадлежите Папе и Маме, которые Вас одинаково горячо любят. И Вы старайтесь друг друга одинаково и равно любить, и любите Ваших Маму и Папу. Поцелуй за меня хорошенько и милую нашу Маму, и Бабушку, и Нюту, и Малю, и Левушку, и дядю Сашу, и тетю Веру и поклонись фрейлен Элизе и Марии Федоровне. Ужасно я радуюсь скорому моему возвращению и радости всех Вас увидать и расцеловать. Да сохранит и благословит Вас Господь Бог. Твой старый друг Папа К.».

Князю часто приходится покидать Анну Васильевну и детей, и он пишет им трогательные письма, полные любви и нежности, называет свою подругу «моя сладчайшая голубушка», «моя красавица из красавиц», «мое сокровище», говорит, что со «страшным нетерпением» ждет, когда наступит та «счастливая минута, когда я вас всех опять увижу, обниму, расцелую».

Князь поселил свою новую семью в доме на Английском проспекте (современный адрес – Английский пр., 18). Позже Матильда Кшесинская, которая также будет жить в этом доме, в своих воспоминаниях напишет, что «особняк был двухэтажный, прекрасно обустроенный, с вместительным погребом. За домом находился небольшой сад, окруженный высокой стеной».

Однако Константину не суждено прожить долгую и счастливую жизнь в новом доме и с новой семьей. В 1881 г. погиб от взрыва бомбы народовольца император Александр II. Его сын, Александр III, не разделял либеральных взглядов отца и недолюбливал своего дядю Константина. Одной из причин этой нелюбви могла быть как раз измена Константина жене: сам новый император, обвенчавшийся в свое время с невестой умершего старшего брата и отнюдь не по страстной любви, считал измены проявлением безнравственности. И вскоре Константин Николаевич отстранен почти от всех занимаемых им государственных должностей. В те дни великий князь с горечью записал: «Моя политическая жизнь этим кончается, но я уношу с собою спокойное сознание свято исполненного долга, хотя с сожалением, что не успел принести всей той пользы, которую надеялся и желал».

Относясь неодобрительно к внебрачной связи дяди, Александр в то же время не желал наказывать невинных младенцев за грехи их отца. В 1883 г. он пожаловал всем внебрачным детям Константина Николаевича фамилию Князевы и потомственное дворянство. Великий князь пишет по этому поводу Анне Васильевне: «Очень рад, что это дело, наконец, совершилось, хотя и не вполне в той степени, как мы имели право ожидать в 1880 году. До самой последней минуты я все боялся, чтоб что-нибудь этому не помешало, потому что оно так долго тянулось. Надо будет еще потолковать с Набоковым, как написать исполнительные бумаги, так чтоб не могло оставаться ни малейшего сомнения на счет личностей, о которых идет речь. Надеюсь, что он найдет такую форму, которая бы это вполне обеспечивала. Я потому про это говорю, что в подписанной бумаге, хотя выставлены все четыре имени, но номера, которые поименованы в бумагах тезки, в ней не прописаны. Так этого оставить, разумеется, нельзя, могут выйти путаница и недоразумение. Поэтому необходимо мне будет с ним еще раз переговорить, чтоб решить, как это сделать. Но, несмотря на это маленькое затруднение, мы все-таки можем считать дело сделанным, и я тебя, душку, искренне с этим поздравляю».

Но беды семьи на этом не кончились. В 1886 г. один за другим умирают от скарлатины два младших сына князя. И вот уже несчастный отец пишет своему другу: «Что нам пришлось перенести в это последнее время, и что за тяжкое испытание нам ниспослал Господь Бог! Мы, разумеется, стараемся безропотно покориться Его Святой и неисповедимой Воле, но Ты в то же время понимаешь, как это тяжело, как это тяжко. Теперь, по крайней мере, я более не один, и вдвоем горевать даже как бы легче. Но больно смотреть на страдания бедной матери. Она несет свой тяжкий крест с полным христианским терпением и смирением. Тотчас после ее приезда мы потихоньку, совершенно по-домашнему в нашей Церкви говели и причастились 24 мая. Тут мы вполне оценили блаженство иметь здесь свою собственную Церковь! Но, несмотря на все удивительное мужество и самообладание моей дорогой Ани, бывают минуты, когда так живо приступают к ней воспоминания всего того, что она пережила и чему была свидетельницей, и тогда ее разбирает страшная тоска, слезы и рыдания почти судорожны, обращающие в чисто физическое страдание. Тогда больно на нее смотреть, тем более что все это так естественно и натурально. Помочь ей тогда ничем нельзя, уговаривать и утешать тоже нельзя, потому что она сама несет свое горе вполне покорно и по-христиански. Остается только вместе с нею тужить и плакать. Все-таки вдвоем это легче, чем одной! Одно время может этому помочь, теперь же рана слишком еще близка и жива! Боюсь очень за нее в то, хотя сравнительно и короткое, время, когда во время моей предстоящей поездки в Павловск она останется здесь совершенно одна с двумя дочурками, над которыми она, разумеется, дрожит как единственными оставшимися нам сокровищами».

И несколькими днями позже: «Аня моя хочет совершенно переселиться в Крым и не возвращаться вовсе в Петербург и, особенно, в тот несчастный дом, в котором мы потеряли двух сыновей. Она об этом доме и вспоминать не хочет, твердо решилась и ногой в него не вступать и потому хочет непременно от него отделаться, его продать. Я думаю, что Ты поймешь это чувство и найдешь его вполне натуральным. И я противоречить этому не могу, хотя ужасно любил это милое гнездышко, в котором мы так были счастливы, прожили почти 10 лет, в котором родились и Нюта, и Левушка. Но, потерявши в нем обоих сынков, вполне понятно, что он матери опротивел и что она в него возвращаться не в силах. Но как это исполнить? Вот прошу Тебя подумать об этом вопросе теперь же, дабы мы могли окончательно столковаться, когда я приеду в Павловск».

Весной 1887 г. великий князь продает дом на Английском проспекте, а летом 1889 г. – новая беда! В Павловске у Константина Николаевича случился апоплексический удар, у него отнялась левая сторона тела и пропала речь.