Анатолий Эдуардович Сердюков родился 8 января 1962 года в поселке Холмский Абинского района Краснодарского края. В 1984 году окончил Ленинградский институт советской торговли по специальности «экономист».

В 1984–1991 годах Сердюков занимал должность заместителя заведующего, позднее – заведующего секцией магазина номер 3 «Ленмебельторга» (об этом в 2007 году напомнил всем и президент России Владимир Путин, выдвигая Сердюкова на высокую государственную должность). В 1991 году Сердюков был назначен заместителем директора по коммерческой работе «Ленмебельторга». В том же году предприятие было преобразовано в ОАО «Санкт-Петербургская промышленная компания», и Сердюков стал его генеральным директором. В 1993–2000 годах Сердюков был заместителем директора, позднее – директором по маркетингу, генеральным директором АО «Мебель-Маркет».

В конце 1990-х годов Сердюков решил получить второе высшее образование и стал заочно учиться на юриста. В вузе он познакомился с Юлией Зубковой – единственной дочерью давнего соратника Владимира Путина Виктора Зубкова (который в ту пору входил в руководство управления министерства по налогам и сборам по Санкт-Петербургу). Юлия к тому времени была разведена с первым мужем, сыном первого секретаря Приозерского горкома КПСС Николаем Похлебениным. Знакомые впоследствии рассказывали журналистам, что активная и волевая Юлия работала в банке, а Николай лишь получал деньги от отца. После смерти Похлебенина-старшего последовал развод. Что же касается Сердюкова, то он на момент встречи с Юлией еще был женат первым «студенческим» браком. Но вскоре он развелся, и они с Юлией поженились.

В 2000 году Сердюков защитил диссертацию на тему «Концепция и системная организация процесса формирования предпринимательских структур, ориентированных на потребителя», став кандидатом экономических наук.

В октябре 2000 года Сердюков начал работать в Инспекции Министерства по налогам и сборам (МНС) России и уже через год стал заместителем своего нового тестя – заместителем руководителя межрайонного уровня номер 1 по Санкт-Петербургу. Структура, в которой работал Сердюков, по данным СМИ, занималась работой с крупнейшими налогоплательщиками города. В 2004 году Зубков возглавил Федеральную службу по финансовому мониторингу, а Сердюков – созданную незадолго до этого Федеральную налоговую службу. В 2007 году Зубков стал премьер-министром, а Сердюков – министром обороны. Руководство страны объяснило это необычное назначение тем, что армии нужен экономист, который наведет порядок в сфере финансирования. Военная академия Генерального штаба разработала для нового министра специальный курс обучения военным наукам, но это, конечно же, не спасло Сердюкова от шквала критики и прозвища «мебельщик».

В 2001 году Сердюков получил второе высшее образование – юридическое, окончив Санкт-Петербургский государственный университет.