В апреле 1926 года по поручению руководства ОГПУ Исидор Мильграм сопровождал Льва Троцкого и его жену, которые выезжали нелегально на лечение в Германию. Через десять лет это задание Москвы станет «неопровержимым фактом» приверженности Мильграма к троцкизму, хотя сам «демон революции», рассказывая об этой поездке в своей книге «Моя жизнь», написал: «Дзержинский послал со мной своего человека».

Из воспоминаний Леонида Мильграма:

«По словам матери, отношения между Троцким и отцом были прохладными. Думаю, что это было связано не столько с политическими мотивами (отец никогда не был троцкистом и не голосовал за его платформу), сколько с личностной разницей и дистанцией. С одной стороны — один из великих вершителей судеб революции, человек с избыточным чувством собственной значимости и с изрядной долей снобизма, а с другой — “человек Дзержинского”, обычный опер.

К тому же отец не умел “гнуть спину” и для него отношение к человеку не определялось его должностным положением. Вспоминаю: позже, когда появились публикации о Сталине как об “отце родном”, а славословия в его адрес поднялись на небывалую высоту и я, пацан, тоже заразился этим, то услышал от отца: “Руководитель — да, вождь — да, но не отец родной”».