В мае 2001 года Сердюков был назначен заместителем Виктора Зубкова – руководителя Управления МНС России по Санкт-Петербургу (впоследствии Зубков возглавил Федеральную службу по финансовому мониторингу). В ноябре того же года Сердюков стал руководителем управления.

Под его руководством в УМНС по Санкт-Петербургу была разработана технология возмещения экспортного НДС, которую Сердюков называл «профилактикой лжеэкспорта на ранней стадии». Фактически это означало, что налоговики совместно с налоговой полицией проверяли фирму еще до заключения сделки. Это позволило заметно повысить собираемость налогов и по оценкам аналитиков технология возмещения экспортного НДС оказалось эффективной. В прессе отмечали, что Сердюков за время работы руководителем петербургского УМНС был известен как сторонник жестких мер в отношении налогоплательщиков, что также позволило налоговикам города почти вдвое сократить задолженность перед бюджетом.

2 марта 2004 года Сердюкова назначили заместителем министра Российской Федерации по налогам и сборам (министром тогда был Геннадий Букаев). 16 марта, после отставки Букаева в ряду других членов кабинета Михаила Касьянова, Сердюков был назначен временно исполняющим обязанности министра.

27 июля 2004 года Сердюков стал руководителем Федеральной налоговой службы России (по данным «Коммерсанта», ключевую роль в его назначении сыграл заместитель руководителя президентской администрации, впоследствии – помощник президента Виктор Иванов). В мае 2005 года в Положения о МНС и о Министерстве финансов России был внесен ряд изменений, в результате которых Сердюков как глава службы получил право назначать руководителей межрегиональных, межрайонных, районных налоговых инспекций, а также их заместителей, согласовывая с министром финансов только кандидатуры руководителей региональных налоговых управлений.

СМИ писали о деятельности Сердюкова как руководителя ФНС. Сообщалось, что на этом посту он провел полную перестановку руководителей ключевых в системе службы отраслевых инспекций по крупнейшим налогоплательщикам, заменив их, по большей части, своими коллегами по Санкт-Петербургу. «Коммерсант» писал, что Сердюков при расстановке кадров использовал также технологию «горизонтальной ротации», в частности, поменял местами руководителей четырех инспекций, курирующих предприятия различных отраслей экономики. Практиковал он и назначения чиновников из центрального аппарата на места глав управлений ФНС по субъектам федерации: по мнению издания, таким образом Сердюков хотел покончить с существующей в регионах «клановостью».

В августе 2005 года глава службы сообщил президенту о перевыполнении плана по сбору налогов в первом полугодии 2005 года на 238 миллиардов рублей. Сердюков указывал, что основные поступающие в казну налоги – это налог на прибыль (35,8 миллиарда рублей), НДС (79 миллиардов рублей) и налог на добычу полезных ископаемых (НДПИ, 122,8 миллиарда рублей), и утверждал, что результаты по сбору НДПИ и в дальнейшем будут высокими. По окончании встречи с президентом Сердюков пояснил, что значительная прибавка в сборе налогов объясняется как ростом цены на нефть, так и тем, что крупные налогоплательщики стали платить больше. Он назвал это результатом от «эффекта ЮКОСа» и сообщил, что «практически все нефтяные компании уточнили свои цифры по уплате налогов и стали платить достаточно большие суммы».

В том же месяце план по сбору налогов был отменен. Газета «Ведомости», ссылаясь на слова одного из сотрудников ФНС, сообщала, что служба будет выполнять данное ей поручение президента: в очередном послании Федеральному Собранию Путин назвал приоритетом для налоговых органов «проверку исполнения законодательства», а не выполнение «каких бы то ни было планов по сбору налогов». В соответствии с этим, отмечало издание, возглавляемая Сердюковым служба должна была в дальнейшем заниматься исключительно проверкой правильности уплаты налогов.

В марте 2006 года в ходе правительственного часа в Государственной Думе Сердюков сообщил о создании межведомственных комиссий для предотвращения выдачи российскими предприятиями зарплаты «в конвертах». По его словам, опыт работы таких комиссий в Москве и Санкт-Петербурге доказал эффективность такой меры: по его словам, официальные зарплаты возросли на многих предприятиях, в том числе на некоторых – примерно в 80 раз (по другим данным – в 8-10 раз). Как заявил Сердюков, создание комиссий призвано упростить жизнь главным налогоплательщикам России, но его служба выступает за дальнейшее совершенствование системы налогообложения и в отношении всех остальных. Так, в целях борьбы с «фирмами-однодневками» ФНС подготовила соответствующие предложения по изменению нормативной правовой базы. Сердюков также пожаловался на невысокую зарплату самих сотрудников ФНС (в среднем, по его словам, она составляла 7,5 тысячи рублей). Назвав ФНС «кузницей кадров для предпринимателей», он сообщил, что уже подготовил предложения в Минфин о сохранении сотрудникам налоговой службы надбавки за условия работы и оплачиваемого проезда к местам отдыха.

В октябре 2006 года на расширенном совещании в Санкт-Петербурге Сердюков заявил, что в 2007 году налоговая служба сделает основной упор на выездные проверки. Глава ФНС особо подчеркнул, что они будут согласованы в управлениях и инспекциях различных городов, поскольку зачастую бизнес ведется одновременно в нескольких регионах и по различным видам экономической деятельности.

В июне 2006 года ведомство Сердюкова в результате поправок, внесенных в Положение о ФНС, получило полномочия по ведению Единой государственной автоматизированной информационной системы учета алкогольной продукции (ЕГАИС). По данным СМИ, вину за возникновение летом этого года «алкогольного кризиса» – резко возросшего дефицита алкогольной продукции в стране в связи с введением ЕГАИС – представители ведомства возложили на единственного разработчика программного обеспечения для системы – ФГУП «НТЦ «Атлас» ФСБ России. В ноябре 2006 года премьер-министр Михаил Фрадков, выступая на совещании, посвященном преодолению кризисной ситуации, подчеркнул, что работа по совершенствованию системы ЕГАИС не завершена, и предупредил о необходимости усиления контроля за ней со стороны Сердюкова, руководства его службы, а также министра финансов Алексея Кудрина.

9 февраля 2007 года ряд СМИ сообщили о том, что Сердюков вошел в новый состав совета директоров ОАО «Химпром» как один из представителей от главного акционера – Росимущества (ему принадлежит 51 процент акций «Химпрома».

23 марта 2007 года Сердюков был избран председателем совета директоров волгоградского «Химпрома». «Коммерсант» отмечал, что новый министр обороны выражал желание стать руководителем крупной компании, еще будучи главой Федеральной налоговой службы, так что это назначение вряд ли было связано с новым местом работы чиновника: накануне «Химпром», по данным издания, отчитался о полной конверсии мощностей по выпуску боевых отравляющих веществ. Комментируя это событие, газета сделала вывод: подобные назначения, вероятнее всего, в российских властных структурах России рассматриваются как «аксессуар, соответствующий статусу в Кремле». Летом 2009 года совет директоров «Химпрома» обновился, был избран новый его председатель.

30 марта 2007 года «Российская газета» сообщила, что в апреле новый министр обороны намеревался пройти специально разработанный для него ускоренный курс обучения в Военной академии Генерального штаба, чтобы получить представление о стратегии и оперативном искусстве, театрах военных действий, знания по организации и управлению Вооруженными силами.

Уже в апреле 2007 года «Независимая газета» написала, что приход Сердюкова на пост министра обороны был не случайным: судя по всему, его деятельность должна была быть связана с проведением активных мероприятий по значительному повышению эффективности расходования средств и ресурсов, вкладываемых в национальную оборону. Такой вывод издание сделало из заявлений Сердюкова накануне проведения в Санкт-Петербурге сбора руководящего состава Финансово-экономической службы (ФЭС) ВС РФ – первого со времен ликвидации СССР. Министр заявил, что займется созданием «более прозрачной системы рационального и целевого расходования бюджетных средств», для чего в армии и на флоте будет проведена инвентаризация. При этом Сердюков подчеркнул, что министерство ожидает «определенная корректировка деятельности существующих органов военного управления» и кадровые перестановки. При реформировании МО РФ Сердюков, по его собственным словам, был намерен добиваться «ликвидации любого, даже самого минимального параллелизма и дублирования в работе органов военного управления, освобождения их от несвойственных функций». Он также выступил в поддержку практики внезапных проверок подчиненных структур. Издание не исключило вероятности того, что при Сердюкове главным рычагом реформирования армии станут финансист и генерал-инспектор.

В том же месяце «Ведомости» сообщили о создании – по инициативе Сердюкова – отдельной межрегиональной налоговой инспекции для оборонных предприятий. Таким образом, сделало вывод издание, министр обороны получил независимую от министерства систему контроля за ВПК. Директор юридической компании «Налоговая помощь» Сергей Шаповалов предположил, что Сердюков хочет «чужими руками» провести аудит вверенного ему хозяйства.