Будучи начальником Иностранного отдела, М.А. Трилиссер сам возглавлял его закордонную часть. Он принимал непосредственное участие в оперативной деятельности ИНО.

…Разведке предстояло восстановить связь с одним из своих ценных агентов в Германии, а потому Трилиссер решил отправиться туда сам. Поездке за кордон предшествовала большая подготовительная работа. В Берлин руководитель внешней разведки ехал под видом специалиста по готике. Ковда все детали операции были отработаны и приблизился день отъезда, выяснилось, что у начальника разведки имеется всего один костюм, в котором он ходит на работу, и синяя косоворотка. Разумеется, в таком «камуфляже» было весьма трудно выдавать себя за старорежимного профессора, знатока и ценителя германской готики.

Пришлось срочно сшить для Трилиссера костюм и приобрести несколько галстуков европейского производства, которые, как оказалось, он не умел завязывать. Были куплены рубашки и другие предметы туалета, необходимые для респектабельного человека. Перед отъездом из Москвы Дзержинский еще раз обговорил с начальником внешней разведки все детали предстоящей операции.

В Берлине Трилиссер конспиративно встретился с агентом, которого посадил в свою оперативную машину и доставил на конспиративную квартиру. На встрече с источником он получил ценную документальную информацию о положении в Германии, сведения о доверительных связях иностранца в зарубежных странах. Агенту было поставлено новое задание, с ним были обговорены дальнейшие условия связи, а также перспективы его вывода в Москву для оперативной подготовки. Конспиративная связь с ценным источником информации была восстановлена. В годы Великой Отечественной войны этот агент активно участвовал в подпольном антифашистском движении…

Умелое руководство Трилиссера внешней разведкой принесло свои плоды. 26 марта 1926 года он становится членом коллегии — заместителем председателя ОГПУ, а с февраля 1928 года — одновременно и уполномоченным ОГПУ при СНК СССР. Кадровый состав Иностранного отдела ОГПУ вновь увеличился. В 1929 году в отделе работали уже 122 человека, из которых 62 — в зарубежных резидентурах. 30 июля 1927 года Иностранный отдел был выделен из подчинения Секретно-оперативного управления ОГПУ, которым руководил Генрих Ягода, и стал самостоятельным подразделением, подчинявшимся непосредственно Коллегии ОГПУ

Это был пик разведывательной карьеры М.А. Трилиссера.

Под его руководством внешняя разведка органов государственной безопасности добилась впечатляющих успехов. В частности, в 1927 году сотрудникам сеульской и харбинской резидентур практически одновременно удалось получить через свои агентурные возможности так называемый меморандум Танаки — сверхсекретное письмо премьер-министра Японии императору Хирохито, в котором были сформулированы основные направления внешней политики возглавляемого Танакой кабинета министров. В документе излагались планы оккупации Китая, Монголии, Индии, Малой и Центральной Азии, а также планы агрессии против Советского Союза.

Ценной агентурой располагали резидентуры ОГПУ в Берлине и Вене, на связи у которых были видные работники МИД и МВД этих стран. Источники важной информации имелись в Финляндии. Больших успехов в разработке вооруженной белогвардейской эмиграции добились резидентуры во Франции, Болгарии, Чехословакии, Турции и Китае. Много ценной агентуры бьшо приобретено и в других странах.

В декабре 1927 года М.А. Трилиссер был награжлсгт орденом Красного Знамени.

Безусловно, в период руководства Трилиссера внешней разведкой были в ее деятельности и провалы.

Так, в 1926—1927 годах произошло несколько провокаций против советских учреждений за границей, сопровождавшихся захватом полицией секретных документов Коминтерна в Лондоне, Пекине и Праге. В Пекине, например, полиция при налете на советское полпредство захватала инструкции Коминтерна китайским коммунистам. В них содержались указания по оказанию помощи «советским товарищам» в ведении разведывательной работы, описание оружия, завозимого в Китай, рекомендации по инспирированию конфликтов между местным населением и иностранцами, некоторые материалы о деятельности военной разведки.