5 декабря 1958 года на заседании Президиума были мои вопросы. На последнем из них Хрущев начал говорить, что «с Серовым у нас был дважды разговор о том, чтобы сменить ему работу, он к этому отнесся по партийному и высказал ряд соображений о кандидатурах вместо него. Причем представил кандидатуры достойных секретарей обкомов, членов ЦК. Затем я ему сказал, что этот вопрос отпадает». Когда Хрущев это сказал, некоторые члены Президиума заулыбались, глядя на меня.

Продолжая дальше, Хрущев сказал: «Всякое может быть, мы решим этот вопрос. Претензий у Президиума к товарищу Серову никаких нет, работал хорошо, и я об этом ему сказал. Мы ему сохраним оклад и все, чем он пользовался, и подберем хорошую работу в военном министерстве».

На этом я вышел. Настроение было среднее. С одной стороны, 5 лет проработав, я уже привык и проделал большую работу по очистке органов ГБ от абакумовских прихвостней и малограмотных работников, которые занимались склоками и кулуарными рассуждениями, а не делом.

С другой стороны, было несколько неприятно, так как в практике работы органов не раз было, когда уходящего обязательно должны чернить и любой перевод представлять как снятие, придумывая разные слухи и варианты.

Вечером позвонил Хрущев и сказал, что он просил Малиновского назначить Серова заместителем Министра обороны, но Малиновский сказал: «Начальником ГРУ, не заместителем Министра».

В течение нескольких часов я все тщательно взвесил, а затем на следующий день, получив решение Президиума о переводе заместителем начальника Генерального штаба Вооруженных сил, я успокоился, созвал коллегию КГБ и спокойно объявил о переходе на другую работу и том, что исполнение обязанностей возлагается на Лунева.

На следующий день по моему указанию начальники главных управлений и управлений представили справки о состоянии дел, которые характеризовали политическое состояние дел, с чем Лунев был тоже согласен и подписал. Я донес акт приема, сдачи дел в ЦК, что сдал дела Луневу, и выехал в Московскую область к Малиновскому, которого я все же мало знал.

Ну, я не буду говорить о прохладной встрече и удовлетворении, которое было написано на его «милости», но я коротко поговорил с ним и попросил выделить генерала, чтобы вместе со мной был на приеме должности.

Я еще раз продумал случившиеся обстоятельства и считаю, что перевод меня из КГБ в Генеральный штаб Советской Армии был итогом интриг Кириченко и Брежнева, которые, как и против Георгия Константиновича Жукова, плели всякие небылицы.

Владимир Никифорович Малин верно сказал после того, как Хрущев стал во главе Совмина и партии, что он всех, кто его поддержал в 1957 году, уберет, чтобы показать, что он без помощи Аристова, Жукова, Беляева, Игнатова, Серова получил доверие партии…