С началом 1940-х годов в мир пришли большие перемены. «Очень плохи дела в мире, не так ли? – писал Стейнбек своему редактору Паскалю Ковичи в 1940 году. – Все, кажется, валится в тартарары – я имею в виду все, что я задумал. Может быть, из боевых действий и войн появятся какие-то новые подходы? Не знаю». «Новые подходы» в своей работы Джон Стейнбек искал на протяжении всех 1940-х годов. Он начал десятилетие с научного травелога, а закончил его работой над глубоко личным экспериментальным романом «К востоку от Эдема». Работа над «Русским дневником» стала частью постоянных усилий Стейнбека по поиску свежих материалов, созданию новых литературных форм. Это нужно было для того, чтобы вновь разжечь в себе творческий огонь. Вот как он писал в своем дневнике об этом огне в 1946 году, в трудный для себя момент: «В его сиянии уйдет в тень все остальное, из-за чего я сейчас выгляжу как серый, поседевший зверь… Но пока я работаю по-старому, ничего такого не случится».

В конце 1930-х годов Джон Стейнбек обнаружил в себе этот огонь, когда писал роман «Гроздья гнева» (1939). Все предыдущее десятилетие он совершенствовал свое мастерство, когда готовил серию тех произведений, которые чаще всего ассоциируются с Джоном Стейнбеком как социальным историком. Это сборник рассказов «Долгая долина» (написаны в начале 1930-х годов, опубликованы в сборнике в 1938 году), комический tour de force «Квартал Тортилья-Флэт» (1935) и трилогия о людях труда: «И проиграли бой» (1936), «О мышах и людях» (1937) и «Гроздья гнева». К концу периода Великой депрессии имя Джона Стейнбека, писавшего о простых людях, стало «именем нарицательным» – так говорилось в рекламном материале для фильма «Гроздья гнева» (режиссер Джон Форд, 1940). Но для самого писателя это звание стало обременительным – в письмах он даже резко высказывался в том смысле, что теперь ему придется писать анонимно. В 1940-х годах в мире за ним закрепилась слава писателя, с чувством пишущего о страданиях бедняков. Критики и обозреватели ждали знакомого голоса пролетарского писателя и возвращения к острым темам 1930-х годов. Стейнбек сопротивлялся. «Я должен начать сначала, – писал он в ноябре 1939 года Карлтону Шеффилду, своему соседу по общежитию в колледже. – Я работал над книгой, пока мог и как мог. Я никогда над ней не размышлял – ну разве что жалел, что она тянется, как неповоротливая телега. И я не представляю, каким будет по форме новый роман, но знаю, что это будет новая вещь, которая сформируется под новый образ мысли».

На пороге нового десятилетия интересы Стейнбека сдвинулись в сторону естественных наук и экологии и, как отмечает он в письме к Шеффилду, «это будет длиться долго». Джон Стейнбек – прозаик превратился в Джона Стейнбека – морского биолога. В марте 1940 года вместе со своим другом морским биологом Эдом Риккертсом, человеком, близким ему по духу и интеллекту, Стейнбек отправляется исследовать литораль (приливно-отливную зону) моря Кортеса. Книга «Море Кортеса», вышедшая в 1941 году, представляет собой отчет об этой поездке и является одним из непризнанных шедевров Стейнбека. Это густая смесь из научных наблюдений, философских размышлений и юмористических скетчей, увенчанная каталогом образцов, обнаруженных во время этой поездки (его составил Риккертс).

Книга «Море Кортеса» как повествование о путешествии, как совместный проект и как эксперимент со структурой определила методы работы Стейнбека на все 1940-е годы. Апогея эта тенденция достигла в конце десятилетия, когда вышел «Русский дневник». «Он, если можно так сказать, попытался выйти в большой мир», – заметил на этот счет Артур Миллер. Поиски источников вдохновения вылились для Стейнбека в десятилетие бурных экспериментов; он писал киносценарии, журналистские заметки, путевые дневники, пьесы и новеллы. На самом деле путешествия в 1940-е годы стали для Стейнбека своего рода панацеей. За эти десять лет он несколько раз съездил в Мексику, утверждая, что «там есть нелогичность, которая мне так нужна». В 1941 году по настоянию документалиста Герберта Клайна он написал сценарий о проблемах со здоровьем у жителей далекой мексиканской деревни – «Забытая деревня». После войны Стейнбек неоднократно возвращался туда, чтобы написать, а затем экранизировать рассказ «Жемчужина», а в 1948 году снова отправился в Мексику, чтобы поработать над сценарием масштабного фильма Элиа Казана «Вива Сапата!», повествующего о жизни мексиканского революционера Эмилиано Сапаты.

Вступление Соединенных Штатов во Вторую мировую войну нарушило самоизоляцию Стейнбека, характерную для 1930-х годов, и унесло его далеко от родной Калифорнии. Сначала он оказался в Вашингтоне, округ Колумбия, где в 1941 году дал интервью недавно сформированному агентству по информации и пропаганде, которое называлось Служба зарубежной информации. Затем он перебрался в Нью-Йорк, где остановился у Гвин Конгер, женщины, которая стала его второй женой. Там он сделал свой первый вклад в борьбу с фашизмом, написав «Луна зашла» (1942), пьесу-новеллу об оккупированной скандинавской стране, которая получила одобрение участников европейских подпольных групп, сопротивлявшихся нацистскому нашествию. В Америке этот роман Стейнбека, а также пьеса и фильм по этой работе, которые быстро вышли друг за другом, получили менее восторженные отклики, потому что страна оказалась не готова считать людьми изображенных в пьесе захватчиков – явно немцев. Разочаровавшись, Стейнбек перешел к другим проектам, связанным с войной: так, в начале 1942 года он писал сценарии для радиопередач Института зарубежной службы. Позже ему было предложено написать текст о подготовке экипажей бомбардировщиков в американских ВВС – выполняя это задание, Стейнбек и фотограф Джон Своуп объездили тренировочные центры, разбросанные по всей территории США.

Затем Стейнбек снова переехал на Восточное побережье, где упорно работал над текстом книги «Бомбы вниз! История экипажа бомбардировщика» (1942). В письме к своему другу по колледжу Вебстеру Стриту он писал: «Я все дальше отхожу от старых реалий и все больше погружаюсь в эту похожую на сон войну. Когда она закончится, я, наверное, не смогу вспомнить, о чем был этот сон». За этим последовали другие проекты, связанные с войной: вместе с другом детства Джеком Вагнером Стейнбек написал «примерный сценарий» для фильма «Медаль для Бенни» – о том, как в маленьком городке встречают героя войны, который оказывается хулиганом с неблагополучной окраины. В начале 1943 года он написал новеллу для известного фильма Хичкока «Спасательная шлюпка» – о выживших после торпедной атаки, которые дрейфуют в открытом море. Наконец в середине 1943 года он получает задание, которое позволяет наиболее успешно использовать его таланты: летом этого года газета New York Herald Tribune направляет его в качестве военного корреспондента за границу: в Англию, в Западную Африку, и в конце концов он участвует в отвлекающей высадке союзников в Италии.

Во многих отношениях «Русский дневник» – это завершение этапа военной журналистики писателя. Находясь в Сталинграде, среди развалин, Стейнбек пишет: «Нам дали две большие комнаты, окна которых выходили на груды обломков, битого кирпича, бетона и пыли – бывшей штукатурки. Среди руин росли странные темные сорняки, которые всегда появляются в местах разрушений». В одном месте «виднелся небольшой холмик с дырой, похожей на вход в норку суслика. И каждый день рано утром из этой норы выползала девочка». В этой зарисовке о загнанном, ошеломленном ребенке Стейнбек показывает агонию осажденного Сталинграда. Эта «словесная рамка» сопровождает фотографии Капы. Одна из самых замечательных особенностей «Русского дневника» – это пересечение текстов Стейнбека с фотожурналистикой Капы. Метод Стейнбека кажется чисто фотографическим, как будто сам проект – сотрудничество с фотографом – диктовал ему подход к теме и стиль изложения. Недаром он подчеркнул в первой главе «Русского дневника», что писатель и фотограф намерены фиксировать только то, что они увидят, ничего больше. В 1947 году фотоподход стал исключительно подходящей метафорой при посещении Советского Союза, поскольку гостям всегда показывали маленькую и всегда строго очерченную часть сталинских владений.