Начальником Особого отдела ОГПУ в 1930–1931 годах был Ян Ольский (начальник КРО с 1927 года, бывший заместитель Артузова). Создатель советской контрразведки Артур Артузов в конце 1927 года перешел в Секретно-оперативное управление ОГПУ, которому подчинялся КРО, а в августе 1931 года возглавил ИНО ОГПУ. В 1931–1933 годах Особым отделом руководил Израиль Леплевский из Секретно-оперативного управления ГПУ Украины, его заместителем был Марк Гай — выходец из Экономического управления ОГПУ. В июне 1933 года Гай возглавил Особый отдел ОГПУ.