В начале августа того же года с Трилиссером встретился Дзержинский и предложил ему перейти на работу в ВЧК, в Иностранный отдел. Трилиссер, имевший опыт агентурной работы на Дальнем Востоке, согласился. Он был назначен начальником закордонной части Иностранного отдела ВЧК. В 1920-е годы, помимо закордонной части разведки, которая действовала за рубежом, разведку сопредельных стран вели полномочные представительства ВЧК — ГПУ, а затем ОПТУ в приграничных районах — в Белоруссии, на Украине, в Закавказье, Средней Азии, Забайкалье, на Дальнем Востоке. Они имели право направлять свою агентуру в сопредельные страны. Подобная система деления разведки на закордонную и внутреннюю существовала до 1930 года и была упразднена в связи с реорганизацией органов госбезопасности.

Когда Трилиссер пришел в отдел, весь его состав размещался в одной большой общей комнате. Ему предстояло организовать разведывательную работу в странах Восточной и Западной Европы. В декабре 1921 года Трилиссер становится вторым лицом в Иностранном отделе — заместителем его начальника С.Г. Могилевского.

6 февраля 1922 года декретом ВЦИК РСФСР упраздняется ВЧК. На ее базе создается Государственное политическое управление (ГПУ) при НКВД РСФСР. А13 марта М. А. Трилиссер назначается начальником Иностранного отдела ГПУ. Он сменил на этом посту Соломона Могилевского, возглавившего Закавказское ГПУ. С приходом Трилиссера к руководству внешней разведки молодого государства начался, по сути дела, новый профессиональный период ее деятельности. Разведка стала работать в полную силу: сказывался опыт агентурной работы ее нового руководителя.

В 1922 году Гражданская война закончилась на всей территории России. Страна получила мирную передышку, которую необходимо было использовать для восстановления разрушенного хозяйства. В.И. Ленин предупреждал, что Россия получила не мир, а только мирную передышку, которая продлится не более двадцати лет. Его предвидение оправдалось: в новую мировую войну Советская России, вернее СССР, была втянута через девятнадцать лет — в 1941 году.

Внутри страны по предложению В.И. Ленина осуществлялся НЭП. Советская Россия нуждалась в иностранных специалистах, оборудовании, технологиях, капиталах. Их можно было получить в странах Европы, прежде всего в Германии, которая, подобно Советскому Союзу, также находилась в изоляции. В 1922 году в Генуе состоялась международная конференция по экономическим и финансовым вопросам с участием делегации Советской России. Новую власть в нашей стране были вынуждены признать Англия и Франция, ранее организовавшие против нее иностранную интервенцию.

Меер Абрамович Трилиссер так определил задачи внешней разведки на тот период:

— выявление на территории каждого иностранного государства контрреволюционных организаций и групп, ведущих подрывную работу против Советской России;

— разработка спецслужб противника, занимающихся шпионажем против нашей страны;

— добыча секретной политической и экономической информации по зарубежным странам;

— получение документальных материалов по всем линиям работы.

Для решения стоявших перед внешней разведкой задач Трилиссер пригласил на работу в ИНО большую группу своих соратников по подпольной работе в военной организации партии, а также по работе на Дальнем Востоке в период Гражданской войны. Двое из них — Сергей Георгиевич Вележев, с которым Трилиссер работал в Сибири в 1917—1918 годах, а также его соратник по дореволюционному подполью Алексей Васильевич Логинов стали его заместителями. Ответственные посты в Иностранном отделе заняли Яков Григорьевич Минскер, Яков Михайлович Бодеско и другие опытные чекисты, которых Трилиссер хорошо знал и которым доверял.

При Трилиссере штаты внешней разведки были расширены до 70 человек. В закордонной части ИНО стало шесть географических отделов. Работникам зарубежных резидентур ИНО была предоставлена большая свобода в вербовке агентуры, а резиденты имели право включать их в агентурную сеть без согласования с Центром. Формируя штаты ИНО, Трилиссер обращал особое внимание на профессиональную подготовку сотрудников, знание ими иностранных языков, умение работать с агентурой, приспосабливаться к быстро меняющимся условиям.

Для выполнения поставленных перед внешней разведкой задач М.А. Трилиссер создает новые закордонные аппараты и комплектует их грамотным оперативным составом. Под его руководством были образованы резидентуры ИНО в Берлине, Лондоне, Париже, Вене, Риме. На Востоке — в Токио, Пекине, Харбине, Сеуле — были созданы нелегальные резидентуры.

В 1922 году в Берлине была создана первая «легальная» резидентура ИНО ГПУ под руководством Бронислава Брониславовича Бортновского. Она располагала весьма ценными источниками информации по самой Германии, а такжЬ другим странам. В Центр направлялись, в частности, ежемесячные доклады министерства государственного хозяйства Германии об экономическом положении страны, сводки главного управления берлинской полиции (полицай-президиума) о внутриполитическом положении Германии и деятельности основных политических партий. Резидентура добывала ценные сведения о позиции Франции в отношении Советской России, материалы по Польше. Центр высоко оценивал деятельность своей берлинской резидентуры. В заключении о работе ее аппарата говорилось: «Материалы дипломатического характера очень интересны, в большинстве своем вполне заслуживают внимания».

В Центр мощным потоком пошла разведывательная информация, в первую очередь — о замыслах вооруженной эмиграции и ее связях со спецслужбами иностранных государств.