Серов был назначен председателем КГБ при СМ СССР 13 марта 1954 г. указом ПBC СССР В качестве основной задачи ему было поручено «в кратчайший срок ликвидировать последствия вражеской деятельности Берии в органах государственной безопасности и добиться превращения органов государственной безопасности в острое оружие нашей партии».