В феврале 1931 года Жуков с Александрой и двухлетней Эрой переехал в Москву. Семье предстояло ютиться в двух крохотных комнатах в большом деревянном бараке для военных в Сокольниках. Жизнь в Москве в те годы была тяжелее, чем в провинции, как свидетельствует в своих беседах с Симоновым Александр Василевский, будущий маршал и будущий свекор Эры, старшей дочери Жукова: «К тому времени командирам полка – а я был командиром полка в Твери – были созданы хорошие условия, было решение, по которому все мы имели машины – „фордики“ тогдашнего выпуска, каждый командир полка имел, получали квартиры – в одних случаях отдельные квартиры, в других даже особняки, имели верховую лошадь, имели, кроме машины, выезд. И вот после всего этого меня назначили в Управление. и сообщили адрес, где я буду жить. Поехал я в Сокольники, нашел этот дом – новые дома с тесными квартирами, нашел свой номер квартиры – квартира из нескольких комнат, мне отведена одна, а нас четверо: я, жена, теща, сын [Юрий, в будущем муж Эры Жуковой]». Жизнь советских людей в эти времена форсированной индустриализации была действительно голодной, скудной и тяжелой. Не хватало жилья, инфраструктура была слаборазвитой, продовольствие распределялось по карточкам, как во время войны.

В Инспекции кавалерии Жуков, в качестве помощника Буденного, напряженно трудился над совершенствованием уставов и разработкой инструкций по боевой подготовке кавалерийских частей. Он не пишет об этом в мемуарах, но такая канцелярская работа, должно быть, его ужасно раздражала. Однако эта оседлая жизнь компенсировала ему отказ от дальних конных походов знакомством с интересными людьми. Его коллегами по управлению были: Белов, офицер для особых поручений при Буденном и будущий прекрасный командир корпуса, а затем армии во время войны; Верховский, уважаемый теоретик; Тюленев и Собенников, обоим предстояло командовать фронтами под началом Жукова. Наконец, и это главное, Жуков познакомился с Василевским, служившим в Управлении боевой подготовки, располагавшемся в одном здании с Инспекцией кавалерии. Они будут превосходно действовать вдвоем во время Великой Отечественной войны.

Сын священника, Александр Михайлович Василевский в возрасте 14 лет и сам поступил в семинарию, но, охваченный патриотическим порывом, в январе 1915 года решил пойти добровольцем на фронт. Благодаря достаточно высокому образовательному уровню он был направлен в престижное Алексеевское военное училище в Москве и, пройдя ускоренный четырехмесячный курс, был выпущен прапорщиком. В 1916 году он был уже штабс-капитаном и командовал ротой в Брусиловском прорыве. В ноябре 1917 года, сразу после революции, он вернулся в свою родную деревню на Средней Волге и стал учителем. В мае 1919 года вступил в Красную армию и принимал участие в неудачном походе на Варшаву в 1920 году. В 1925 году командовал полком в Московском военном округе. Через год он встретил Шапошникова, который с этого момента стал его наставником. Шапошников нашел в Василевском свое второе «я»: бывшего царского офицера с хорошими манерами, с большими познаниями в истории и теории военного дела, человека взвешенного и рассудительного. Подобно Шапошникову, Василевский всегда будет опасаться своего непролетарского прошлого и бояться Сталина. Он никогда не вступит в спор с вождем и не раз очень своевременно окажется больным, когда режим станет требовать от него совершить поступок, не одобряемый им. В 1926 году он отрекся от отца, но его заявления с просьбой о вступлении в партию оставались без ответа, из-за чего он чувствовал себя неуверенно. В 1931 году он работал в Управлении боевой подготовки, где познакомился с Жуковым и Тухачевским. Начиная с 1933 года он служил в штабах разных уровней – где приобрел опыт, которого не имел Жуков,  – и осенью 1936 года поступил во вновь созданную Академию Генерального штаба. Это учебное заведение даст Красной армии двух начальников Генерального штаба (Василевского и Антонова), четырех командующих фронтами (в том числе Ватутина) и одиннадцать начальников штабов фронтов.

На первом партийном собрании всех инспекций и управления боевой подготовки Наркомата по военным и морским делам Жуков был единогласно избран секретарем партбюро. Этот довольно важный политический пост позволял ему контактировать с главными мыслителями и с наиболее активными деятелями в руководстве РККА: с Тухачевским, Егоровым, Якиром, Иссерсоном, Трианда-филловым (с последним – на протяжении всего лишь нескольких месяцев). Также он оказался вхож в кабинеты лиц, ответственных за перевооружение армии, и благодаря этому открыл для себя, какие усилия в этой области предпринимались в Советском Союзе. В частности, он ознакомился с принятым в 1929 году планом переоснащения артиллерии, которая станет одним из важнейших факторов победы в период 1941–1945 годов. Он участвовал в создании первых набросков ко «второму пятилетнему плану (1934–1938) строительства Красной армии». Короче говоря, в какие-то несколько месяцев Жуков из темного мирка минской казармы был перенесен в руководящие круги Красной армии.

В своих «Воспоминаниях» Жуков особо подчеркивает свое близкое знакомство с Тухачевским, после того, как тот в 1931 году был переведен из Ленинграда в Москву и возглавил управление вооружений. Такая настойчивость вполне объяснима: в 1960-х годах знакомство с признанным видным теоретиком и реформатором Тухачевским было куда престижнее знакомства с Буденным, с которым, однако, Жукову доводилось встречаться гораздо чаще. Тем не менее не вызывает сомнения факт, что Жукову приходилось тесно контактировать с Тухачевским, поскольку тот как раз в это время размышлял о возможностях дополнения кавалерийских соединений техническими средствами. Жукову посчастливилось увидеть разработку принципов применения конницы и новых видов техники в современной войне. Один из лучших военных умов своего времени ясно изложил ему специфические проблемы использования моторизованных соединений: сложности снабжения горюче-смазочными материалами, запчастями и боеприпасами, создания ремонтной базы, основанной на новых средствах подготовки личного состава, новых правилах ведения боя в рамках бурно развивавшейся теории «глубокой операции». Если верить тому, что Жуков написал в своих «Воспоминаниях», Тухачевский открыл ему мир, убеждая следить за развитием иностранных армий. Также именно он, несмотря на тайное сотрудничество между РККА и рейхсвером, первым заговорил о том, что Германия станет главным противником СССР в грядущей войне. «В М.Н. Тухачевском,  – читаем мы в «Воспоминаниях»,  – чувствовался гигант военной мысли, звезда первой величины в плеяде военных нашей Родины». Дальше следовал абзац, вырезанный цензурой и появившийся только в издании 1990 года: «Вспоминая в первые дни Великой Отечественной войны М.Н. Тухачевского, мы всегда отдавали должное его умственной прозорливости и ограниченности тех, кто не видел дальше своего носа, вследствие чего наше руководство не сумело своевременно создать мощные бронетанковые войска, и создавали их уже в процессе войны. […] Однако голос М.Н. Тухачевского остался „гласом вопиющего в пустыне“». Дальше мы увидим, что эта оценка чересчур лапидарна.