Во всяком случае, в середине 1936 года братство Старца состояло из трех человек: о. Арсений, о. Афанасий и о. Иоанн.

Поскольку пребывание в скиту Василия Великого было связано с большими трудностями, решено было переселиться в другое место. Впрочем, главной причиной переселения был о. Иоанн, который совершенно не мог оказывать никакого послушания. И не только не слушался, но и препятствовал Старцу жить безмолвно, как он хотел.

Старец говорил ему:

— «Если ты, чадо, будучи послушником, ищешь упокоения своей плоти, то мне — что поделать?!»

Второй причиной был тяжелый телесный труд: братству приходилось прилагать большие усилия для того, чтобы поднять на своих плечах на столь большую высоту необходимые пропитание и материалы.

Наконец, третьей серьезной причиной стали внешние люди, которые мешали внутренней жизни. Слава о Старце, как о великом аскете, уже начала распространяться. Многие отцы стали приходить за советом, и так потерялось безмолвие, а точнее, время, необходимое для молитвы и безпопечительности.

По этим трем причинам Старец принял решение уйти вместе с о. Арсением, о. Афанасием.

— «Уходим! — Сказал Старец. — Пойдем в другое место для того, чтобы совершать наш подвиг, чтобы люди не могли так легко найти нас и лишить молитвы и безмолвия».