Байярд Растин вырос в городке Вест-Честер в Пенсильвании. Его воспитывали дедушка с бабушкой, и, лишь когда уже подрос, он узнал, что женщина, которую он считал своей старшей сестрой, на самом деле его мать. Отец, страдавший от алкоголизма, жил в том же городе, но никакой роли в жизни Растина не играл.

Растин вспоминал, что у деда была «самая прямая осанка в мире. И никто из нас не знал за ним ни единого дурного дела». Бабушка Растина была воспитана в духе квакеров и стала одной из первых чернокожих американок, окончивших школу. Она взрастила в Байярде потребность в спокойствии, достоинстве и неустанном самоконтроле. «Нельзя взять и потерять самообладание», — любила говорить она. Мать Растина заведовала летним библейским лагерем, где особое внимание уделяла книге Исхода; Байярд ходил туда каждый день. «Бабушка, — вспоминал он, — была глубоко убеждена, что, когда речь идет об освобождении черных, нас куда большему научит история евреев, чем Матфей с Марком и Лука с Иоанном».

В старшей школе Растин увлекался спортом и писал стихи. Как и у Рэндольфа, у него было подчеркнуто правильное, почти британское, произношение, и при первой встрече он производил впечатление высокомерного человека. Одноклассники дразнили его за то, что он чересчур задирал нос. Один из них вспоминал: «Он цитировал Библию. И стихи Элизабет Браунинг. Он мог в разгар драки вдруг подняться и прочесть наизусть стихотворение». В первый год учебы в старшей школе Растин стал первым в течение 40 лет чернокожим учеником, получившим премию за ораторское мастерство. К концу учебы он играл в окружной сборной по футболу и был лучшим в классе по успеваемости. Он страстно полюбил оперу, музыку Моцарта, Баха и Палестрины, а одной из его любимых книг был роман Джорджа Сантаяны The Last Puritan («Последний пуританин»). По собственному почину он прочитал The Story of Civilization («Историю цивилизации») Уильяма и Ариэль Дюрант и отзывался об этой книге как о «глотке освежающего аромата, который раскрывает ноздри, только для мозга».

Растин учился в Университете Уилберфорса в штате Огайо, а затем в Университете Чини в Пенсильвании. Позднее ему пришлось переехать в Нью-Йорк. В Гарлеме он сразу нашел для себя много дел: вступил в несколько организаций левого толка и одновременно на добровольных началах стал помогать соратникам Рэндольфа, которые хотели организовать марш на Вашингтон. Он вступил в пацифистскую христианскую организацию «Содружество примирения» и быстро занял в ней высокое положение. Пацифизм для Растина был образом жизни. Он указывал ему и путь к добродетели, и стратегию перемен в обществе. Путь к добродетели означал, что следует подавлять в себе личный гнев и агрессивные наклонности. «Единственный способ сделать мир менее уродливым — это сделать менее уродливым себя», — говорил Растин. Пацифизм как стратегия перемен, писал он позднее в письме к Мартину Лютеру Кингу, «покоится на двух столпах. Один — это сопротивление, постоянное военное сопротивление. На злодея оказывается такое давление, что он никогда не находит покоя. Во-вторых, он проецирует добрую волю на злонамеренность. Таким образом ненасильственное сопротивление побеждает апатию в наших собственных рядах».

Ближе к 30 годам Растин много ездил по стране, выступая с зажигательными речами в поддержку «Содружества». Он постоянно устраивал акты гражданского неповиновения, о которых среди пацифистов и правозащитников скоро стали ходить легенды. В 1942 году в Нэшвилле он потребовал в автобусе пустить его на места для белых. Водитель вызвал полицию. Прибывшие на место полицейские начали избивать Растина; он принимал удары со спокойствием Ганди. Как позднее вспоминал один из членов «Братства» Дэвид Мак-Рейнольдс, «он был не только самым популярным лектором Братства, но и гением тактики. Братство готовило Байярда к роли американского Ганди».

В ноябре 1943 года Байярд Растин получил повестку в армию. От службы можно было отказаться — пойти служить в трудовой лагерь. Но Растин выбрал другой путь: он отказался выполнять требования властей. Его посадили в тюрьму, где каждый шестой заключенный был таким же узником совести и считал себя оплотом пацифизма и правозащитного движения. В тюрьме Растин агрессивно противостоял политике сегрегации. Он принципиально ел в той части столовой, где висела табличка «Только для белых». В свободное время он устраивался в секторе отдыха «Только для белых». Его агитация настраивала некоторых заключенных против него. Так, однажды на него набросился белый заключенный и стал наносить удары по лицу и телу ручкой от метлы. Растин по своему обыкновению встретил нападение пассивно, повторяя лишь: «Ты не можешь причинить мне вреда». В конце концов ручка от метлы сломалась. Растин получил перелом запястья и кровоподтеки на голове.

Слух о подвигах Растина скоро вышел за пределы тюремных стен. В Вашингтоне чиновники Федерального бюро тюрем под руководством Джеймса Беннетта отнесли Растина к категории опасных преступников — как Аль Капоне. Как писал Джон Д’Эмилио, биограф Байярда Растина, «все 28 месяцев, пока Растин сидел в тюрьме, на Беннета сыпались письма от подчиненных, просивших совета, что делать с Растином, и от сторонников Растина, которые следили за тем, как с ним обращаются в заключении».