В марте 1918 года Филиппов возвратился в Петроград, а затем переехал в Москву и был зачислен официальным сотрудником в штаты ВЧК. Сначала он работал в отделе по борьбе со спекуляцией и преступлениями по должности, а затем был прикомандирован к Президиуму ВЧК для выполнения личных поручений Дзержинского. В это время Филиппов провел расследование ряда дел, связанных с хищениями и саботажем, в том числе крупного дела по Русско-Балтийскому заводу. Для расследования этого дела он был наделен широкими полномочиями по проверке всей документации предприятия. Об этом, в частности, свидетельствуют выданные Филиппову письмо общей канцелярии ВЧК и соответствующее удостоверение, которые подписал Дзержинский.

Расследование по Русско-Балтийскому заводу велось продолжительное время и сопровождалось частыми командировками Филиппова в Таганрог, Петроград и другие города. В результате проведенной чекистами работы удалось выявить злоупотребления со стороны отдельных ответственных чиновников, работавших на этом и смежных с ним предприятиях, установить истинное экономическое положение завода, что в конечном счете способствовало становлению промышленности Советской Республики.

Свои обязанности сотрудника при Президиуме ВЧК Филиппов выполнял добросовестно, с присущей ему энергией. Однако вскоре после левоэсеровского мятежа в июле 1918 года он был арестован Петроградской ЧК по подозрению в причастности к монархической организации. Председатель Петроградской ЧК М.С. Урицкий распорядился арестовать Алексея Фроловича и под конвоем доставить его в знаменитую петроградскую тюрьму «Кресты».

Сразу же после ареста А.Ф. Филиппов обратился к Ф.Э. Дзержинскому с письменной просьбой «объективно вникнуть в его положение и вскрыть причину недоразумения, которое с ним произошло».

30 июля 1918 года Дзержинский направил в Петроградскую ЧК письмо следующего содержания:

«Тов. Урицкому.

Дорогой товарищ! Ко мне обратился А.Ф. Филиппов с просьбой вникнуть в его положение, что сидит совершенно зря. Не буду распространяться, пишу Вам потому, что считаю сделать это своей обязанностью по отношению к нему как к сотруднику Комиссии. Просил бы Вас только уведомить меня, в чем именно он обвиняется. С приветом, Ф. Дзержинский».

В ходе следствия выяснилось, что Филиппов никакого отношения к монархическим организациям не имел. Дело против него было возбуждено по доносу одного из сотрудников Петроградской ЧК, левого эсера, политическую платформу которых Филиппов не разделял и открыто осуждал.

3 сентября 1918 года Филиппов был освобожден из-под стражи. В его следственном деле появилась запись: «К предъявляемым А.Ф. Филиппову обвинениям он никакого отношения не имеет. На основании изложенного настоящее дело считаем законченным и подлежащим хранению в архиве Комиссии».

После освобождения Алексей Фролович продолжал работать в ВЧК. Он занимал руководящую должность в Секретном отделе.

Одновременно был председателем Исполнительного комитета по делам духовенства России.

Скончался А.Ф. Филиппов в Ленинграде в середине 1950-х годов.