В связи с расширением объемов работы Особая группа 3 октября 1941 года согласно Приказу НКВД СССР № 001435 «Об организации 2-го отдела НКВД СССР» была реорганизована в самостоятельный отдел НКВД СССР. При этом в оперативном подчинении у созданного подразделения остались Четвертые отделы областных УНКВД.

При этом был сохранен особый статус новой структуры — она подчинялась непосредственно наркому внутренних дел Лаврентию Берии. Также на своем посту остался Павел Анатольевич Судоплатов и один из его заместителей — Николай Дмитриевич Мельников. А вот другой его заместитель, Наум Исаакович Эйтингон, уехал в зарубежную командировку в Турцию. Вместе со своими коллегами Георгием Ивановичем Мордвиновым и Иваном Винаровым он должен был организовать в Анкаре убийство германского посла Франца фон Папена. Успешно выполнить задание им не удалось. Подробнее об этой операции будет рассказано ниже. Место отбывшего в спецкомандировку занял бывший заместитель наркома внутренних дел Грузии майор госбезопасности Варлаам Александрович Какучая.

Второй отдел НКВД СССР состоял из 16 отделений, из них 14 — оперативные региональные отделения, в задачу которых входила организация разведывательно-диверсионной работы за кордонами в районах, непосредственно примыкающих к театру военных действий, а также в районах возможного нападения противника (Япония, Турция и т. п.).

Для оптимизации координации деятельности территориальных Четвертых управлений и отделов 10 ноября 1941 года в составе Второго отдела НКВД СССР было создано прифронтовое отделение.

Основные задачи Второго отдела НКВД СССР и подчиненных ему Четвертых управлений и отделов республиканских и областных подразделений НКВД:

— формирование в крупных населенных пунктах, захваченных противником, нелегальных резидентур и обеспечение надежной связи с ними;

— восстановление контактов с ценной проверенной агентурой органов госбезопасности, оставшейся на временно оккупированной советской территории;

— внедрение проверенных агентов в создаваемые противником на захваченной территории антисоветские организации, разведывательные, контрразведывательные, административные органы;

— подбор и переброска квалифицированных агентов органов госбезопасности на оккупированную врагом территорию в целях их дальнейшего проникновения на территорию Германии и других европейских стран;

— направление в оккупированные противником районы маршрутной агентуры с разведывательными и специальными задачами;

— подготовка и переброска в тыл врага разведывательно-диверсионных групп и обеспечение надежной связи с ними;

— организация в районах, находящихся под угрозой вторжения противника, резидентур из числа преданных и проверенных на оперативной работе лиц;

— обеспечение разведывательно-диверсионных групп, одиночных агентов, специальных курьеров и маршрутных агентов оружием, средствами связи и соответствующими документами.

Отдельно следует отметить тот факт, что сотрудники Второго отдела готовили методические пособия для разведчиков и диверсантов. Например, инструкцию «по изготовлению зажигательных средств» в качестве учебного пособия при обучении подрывному делу членов 125 «боевых диверсионных групп», котором предстояло сражаться с врагом в Сталинградской области и самом городе.