Разумовский умел хорошо держать себя на той высоте, на которую был возведен. Хотя отношения его к императрице и были известны, но он всячески старался скрывать их, не гордился своим положением, был со всеми приветлив, всем услужлив и тем приобрел искреннюю любовь окружавших Елизавету. Сначала жил он в одном дворце с императрицей, а потом для него был построен особый дворец, известный ныне под названием Аничкова. Богатства Разумовского были несметны, и он умел ими пользоваться. Много добра делал он бедным и несчастным, снабжая их деньгами или ходатайствуя за них пред Елизаветой. Он любил поиграть в банк, и если узнавал, что кто-нибудь нуждается в денежных средствах, приглашал его играть и нарочно проигрывал ему более или менее значительные суммы. Одно в нем было неприятно: любил иногда выпить лишнюю рюмку вина и во хмелю был неспокоен, как говорит в своих «Записках» учитель Павла Петровича, Порошин. Это было, говорят, причиной охлаждения к нему Елизаветы, последовавшего года через четыре после брака. Елизавета Петровна, любившая театральные представления, в то время даваемые в сухопутном кадетском корпусе, однажды приехала туда нечаянно и, придя в театр, увидала на сцене спящего молодого человека, бывшего уже на выпуске. Это был Никита Афанасьевич Бекетов, к которому, как тогда говорили, «счастье во сне пришло». По окончании спектакля он был пожалован в сержанты, а месяца через три выпущен из корпуса прямо премьер-майором (то есть подполковником) Преображенского полка и назначен генеральс-адъютантом к Разумовскому. Разумовский был совершенно равнодушен к возвышению нового любимца и был с ним в самых приятных отношениях. Но граф Петр Иванович Шувалов, опасаясь возраставшего влияния Бекетова, сблизился с этим неопытным юношей и вкрался в его доверенность. Расхваливая его красоту, особенно же белизну его лица, он советовал для поддержания ее употреблять какое-то притиранье, которое и дал ему. Бекетов поступил по совету Шувалова, и лицо его покрылось сыпью. Жена Шувалова, Мавра Егоровна, урожденная Шепелева, еще с ранней молодости Елизаветы пользовавшаяся особенною ее доверенностью и посвященная во все ее тайны, сказала ей, что Бекетов ведет распутную жизнь и заразился. Его тотчас же отправили в армию, а место его заступил Иван Иванович Шувалов, брат графа Петра Ивановича. Разумовский и с Шуваловым, и с другими фаворитами находился в столь же приятных отношениях, как и с Бекетовым. Впоследствии, по вступлении на престол Екатерины II, он совершенно отказался от двора и вел жизнь уединенную, выезжая только в церковь.

Вскоре по вступлении на престол Екатерины II Григорий Григорьевич Орлов, стремившийся занять положение, подобное положению Разумовского, сказал императрице, что брак Елизаветы, о котором пишут иностранцы, действительно был совершен, и у Разумовского есть письменные на то доказательства. На другой день Екатерина велела графу Воронцову написать указ о даровании Разумовскому, как супругу покойной императрицы, титула императорского высочества и проект указа показать Разумовскому, но попросить его, чтоб он предварительно показал бумаги, удостоверяющие в действительности события.