К свадьбе Павла Александровича для него купили за 1 600 000 рублей особняк в стиле неоренессанса на Английской набережной, принадлежавший барону Штиглицу (современный адрес – Английская наб., 68). Интерьеры в стиле необарокко создавались для того, чтобы поражать гостей роскошью и изяществом, теперь же дворец был тих и мрачен.

Великой князь днями пропадал на службе, дети его видели редко. Но тем дороже для них стали минуты, которые они могли провести с отцом. Позже великая княгиня Мария вспоминала: «Мы жили с отцом в Петербурге в одном из дворцов на Неве. Дворец был огромным, прямоугольной формы, неопределенного архитектурного стиля; ансамбль зданий и флигелей образовывал просторный внутренний двор. Из окон фасада второго этажа открывался прекрасный вид на Неву, широкую реку, по которой летом плавало много судов.

Я и Дмитрий вместе с нянями и служанками занимали третий этаж. Детские апартаменты, территория нашего детства, были полностью изолированы от остальной части дворца. Это был наш собственный маленький мир, где правила английская няня Нэнни Фрай и ее помощница Лиззи Гроув…

Два раза в день отец приходил повидаться с нами. Он глубоко и нежно любил нас, и мы это знали, но он никогда не расточал нам ласки, обнимал только когда приходил поздороваться утром или желал доброй ночи.

Я обожала его. Я радовалась каждой возможности побыть с ним рядом, и если по какой-либо причине день проходил без встречи с ним, я очень переживала…

У него было необыкновенное чувство юмора, он любил веселые розыгрыши, был мастер на всякие выдумки. Однажды на Пасху он незаметно подсунул под нашего кролика куриное яйцо и уверил нас, что тот несет яйца».

Дети росли, у них были свои маленькие радости и огорчения, а Павел Петрович привыкал к статусу вдовца. Понемногу он поднимался в чинах и званиях. Командовал Павел лейб-гвардии Конным полком, затем 1-й Гвардейской кавалерийской дивизией, а в 1898–1902 гг. – Гвардейским корпусом. В 1893-м он получил чин генерал-майора, в 1897-м назначен генерал-адъютантом, а в 1901-м произведен в генерал-лейтенанты.

Спустя пять лет обитателей дворца ждали большие перемены. В жизни Павла Петровича появилась другая женщина – Ольга Валериановна Пистолькорс, жена адъютанта великого князя Владимира Александровича и подруга великой княгини Марии Павловны. В январе 1897 г. у Ольги Валериановны и Павла Александровича родился сын, которого назвали Владимиром. Еще через пять лет Ольга Валериановна смогла развестись с мужем. Статс-секретарь А. А. Половцов писал в дневнике: «Город занят большим скандалом. Уже много лет великий князь Павел Александрович состоит в связи с женой адъютанта великого князя Владимира Александровича – Пистолькорса. Бесцеремонность влюбленных достигла крайних пределов. Путешествия и прогулки вдвоем, обхождение с рожденным сыном, носящим фамилию Пистолькорса, и т. п., все это принималось публикой как выражение совершившегося факта. Ныне летом г-жа Пистолькорс объявила, что великий князь решил на ней жениться и что для сего ею немедленно получен развод… Великий князь Павел объявил, что он женится на г-же Пистолькорс во что бы то ни стало, бросив, если нужно, все и уехав из России».

О. В. Пистолькорс

Павел Александрович действительно женился на Ольге Валериановне, уехав для этого в Италию, в Ливорно. Они обвенчались 27 сентября 1902 г. Молодой император был в гневе, увидев в этом поступке новое предательство со стороны своей семьи: «Еще весною я имел с ним крупный разговор, окончившийся тем, что его предупредил о всех последствиях, которые его ожидают, если он женится. К всеобщему огорчению, ничего не помогло. Как все это больно и тяжело и как совестно перед всем светом за наше семейство!». Николай уволил дядю от всех должностей, лишил звания генерал-адъютанта и запретил въезд в Россию.

По полку, где прежде служил Павел, а потом и по всей столице стала гулять песенка:

Вспоминает Мария Павловна: «Однажды вечером я сидела за столом и делала уроки, когда в комнату вошла мадемуазель Элен и протянула мне конверт; по почерку я узнала, что он от отца. Я быстро его открыла, развернула письмо и начала читать.

Уже с первых слов я поняла, что отец собирается сообщить нечто ужасное. Я пробегала глазами строчки и, только дочитав, поняла. Мадемуазель Элен подошла ближе и хотела обнять меня. Я с отрешенным видом взглянула на нее и перечитала письмо.

Отец сообщал, что он женился, его жену зовут Ольгой Валериановной Пистолькорс. Он писал, что очень страдал от одиночества и как велика его любовь к этой женщине, которая может сделать его счастливым. Он уверял, что любит и всегда будет любить нас и надеется, что мы будем вместе. Он просил не питать злобы против его жены.

Лист бумаги упал на пол, я закрыла лицо руками и разрыдалась. Гувернантка отвела меня на кушетку и, обняв, села рядом.

Мне казалось, что отец для меня умер. Рыдания перешли в нервную икоту, которую долго ничто не могло унять. Душа опустошилась, я была в оцепенении».

Детей увезли в Москву Сергей Александрович и Елизавета Федоровна.

Павел Александрович и Ольга Валериановна вместе с сыном Владимиром купили дом недалеко от Парижа. В следующем году у супругов родилась дочь Ирина, а еще через два года – Наталья.