4 июля 1945 г., в связи с упразднением аппаратов уполномоченных НКВД СССР на фронтах и назначением Серова уполномоченным НКВД по ГСОВГ, местные органы СМЕРШ были выведены из его прямого подчинения. И хотя в приказе Берии военной контрразведке поручалось «оказывать т. Серову необходимую помощь в выполнении возложенной на него задачи», межведомственные распри вспыхнули с новой силой.
Накануне, 27 июня 1945 г., Абакумов, похоже, умышленно заменил начальника СМЕРШ ГСОВГ. Вместо лояльного к Серову генерала Вадиса был назначен генерал Зеленин, у которого с Серовым имелись давние счеты. Кульминацией конфликта стал приезд в оккупационную зону оперативных групп СМЕРШ для ведения агентурной работы в частях ГСОВГ, что являлось прерогативой НКВД. 22 июля 1945 г. Серов был вынужден направить Берии письмо о «неправильном указании» Абакумова. В документе говорилось: «считаю нецелесообразным проведение агентурно-оперативной работы в городах Германии опергрупами НКВД и СМЕРШ параллельно». (Аппарат НКВД-МГБ в Германии 1945–1953. Сборник документов. М.: Демократия, 2009. С 107–108.).
