Очень скоро Л. Брежнев и А. Кириченко станут новыми фаворитами Хрущева. Во многом их усилиями влияние Серова будет снижаться.

Зам. начальника военной контрразведки КГБ Николай Миронов был переведен в Ленинград начальником УКГБ 20 января 1956 г. Он, действительно, был близок с Брежневым, вместе с которым работал еще до войны на Украине. Впоследствии это тоже негативно скажется на судьбе Серова: в 1959 г. Миронов станет зав. отделом административных органов ЦК КПСС т. е. куратором всех силовиков. Будет активно интриговать против Серова, примет участие в подготовке его отставки.