С того времени, как молва о подвижнике разнеслась по округе, к преподобному Александру стали обращаться те, кто искал духовного руководства в подвижнической жизни. Преподобный же хоть и не стремился к тому, чтобы наставлять и начальствовать, но, тем не менее, никому не отказывал. Так вокруг него начала собираться монашеская братия.

Александр начал строить кельи для братии, изначально устраивая обширный монастырь. Это вызвало конфликт с братом Иоанном, который возмутился тем, что его родственник, объявив себя пустынником, обустраивает большую обитель, как думалось Иоанну из тщеславия. Преподобный ничего не отвечал брату, но молился о нем. Сам он так же иногда сомневался, если ли воля Божия в устроении им обители или же ему стоит ограничиться духовным окормлением приходящих к нему.

Но все больше и больше людей приходило к преподобному Александру в жажде не только духовного окормления, но и монашеского подвига. Преподобный не мог прогнать их, он лишь предупреждал о том, что монашеская жизнь в глухом лесу очень трудна. Тех же, кто твердо решался последовать примеру преподобного и поселиться вблизи его и под его духовным руководством, он подбадривал, говоря, что все здешние скорби и лишения уготовляют им духовные блага вечной жизни.

Иоанн недолго подвизался вместе с преподобным Александром — вскоре он отошел ко Господу. Преподобный похоронил его, как говорится в житии, «во внутренней пустыни».

Община иноков росла, но жили они в крайней скудности. Сам преподобный привык к такой жизни, но для некоторых из братий такая жизнь была тяжела. И тем ценнее была помощь мирян, так же ищущих духовного совета преподобного. Одним из таких мирян был уже упоминавшийся Андрей Завалишин. Он пришел к преподобному вместе со своими слугами — все они принесли хлеб и зерно: рожь и ячмень. Это стало большим подспорьем для братии, так что преподобный даже сказал: «Видите, братия, как Бог печется о нас, рабех Своих, сидящих в пустыни сей, и яко не забы нас нищих до конца, и никогдаже презрети имать места сего и живущих в нем, верно работающих Ему».

Впоследствии Завалишин неоднократно посещал преподобного и по его совету принял постриг на Валааме с именем Адриан. Некоторое время спустя он основал на восточном берегу Ладожского озера Ондрусовский монастырь и прославился обращением на путь покаяния многих разбойников.

Тем не менее, преподобный не считал, что иноки, подвизающиеся в пустыни, могут лишь принимать помощь мира. Одновременно со строительством келий он начинает рубить деревья и расчищать пашню, дабы иноки сами могли сеять зерно и кормиться от трудов своих.

В это время — зарождения Свирской обители — Господь послал преподобному Александру великое утешение — единомысленого брата — монаха Никифора (будущего преподобного Никифора Важеозерского). Этот Никифор был суровым подвижником — он носил тяжелые вериги. Услышав о преподобном Александре, Никифор пришел к нему за благословением. Преподобный побеседовал с ним и, поняв его духовное устроение, уговорил Никифора остаться в пустыни. Некоторое время Никифор действительно помогал преподобному созидать монашескую общину, но несколько лет спустя он, несмотря на уговоры преподобного Александра, ушел со Свири в Киево-Печерскую Лавру.

Оставшись в духовном одиночестве, преподобный усилил свой подвиг, и у него начались искушения от бесовских страхований. Однажды, когда он направлялся в так называемую «отходную пустынь», — будущую Преображенскую часть монастыря, перед ним внезапно предстало множество бесов, которые кинулись на него, требуя, чтобы он покинул эти места. Но Александр с молитвой все таки дошел до отходной пустыни, и там ему явился Ангел Господень. Явление Ангела устрашило преподобного куда больше, чем бесовское нападение — в трепете и ужасе он упал на землю. Ангел же взял его за руку и сказал: «Восстани, о преподобне, не бойся, и отложи от себя весь страх и трепет». После этого вид Ангела изменился и он стал, словно обычный человек. Это ободрило преподобного Александра, и он спросил Ангела: «Кто еси ты, Господи мой, яко вид твой зело смяте мя?» На это Ангел отвечал: «Аз есмь Ангел Господень, послан есмь от Бога сохратити тя от всех прелестей лукаваго диавола, противоспамянути же прежде бывших тебе Божественных видений на месте сем, идеже вселился еси, да совершиши повеление Его; понеже избра тебе Господь многим ко спасению путеводителя. Возвещаю же ти, яко благоволит Бог, да созиздиши церковь на месте сем во имя Святыя Троицы, и братию собереши, и обитель устроиши». После этого Ангел стал невидим.

Вскоре Ангел еще раз явился преподобному Александру и вновь возвестил ему — в устроении им обители есть Божия воля.