Преподобный Иосиф (в миру Иван Евфимович Литовкин) родился 2 ноября 1837 года в селе Городище Харьковской губернии, в семье благочестивых родителей. Как мать, так и отец были очень милостивы к бедным, раздавая свои достатки щедрой рукой. Любили принимать сборщиков-монахов и непременно каждому из них подавали на устройство обители. В семье было шестеро детей. Маленького Ивана, названного так в честь святого Иоанна Милостивого, с самого раннего детства воспитывали в любви к молитве и благочестии, он рос кротким, чутким, добрым и застенчивым. Избранность будущего подвижника проявилась очень рано, когда восьмилетний отрок был удостоен явления Божией Матери. Однажды, играя во дворе, он вдруг изменился в лице, поднял голову и руки кверху и тут же упал без чувств. Когда его стали спрашивать, что с ним случилось, он ответил, что видел в воздухе Царицу Небесную. «Да почему же ты так думаешь?» «Потому что на Ней была корона с крестиком», - отвечал он. «Ну, а почему же ты упал?» - снова спросили у него. На это он тихо сказал: «Около Нее было такое солнце... Я не знаю, не знаю как сказать!» - быстро добавил он и заплакал.
С тех пор он очень изменился, сделался тих, задумчив и стал уклоняться от детских игр, находясь неотлучно при матери; взгляд его кротких глаз сделался еще глубже, и в его детском сердечке загорелась живая вера и любовь к Царице Небесной.
В одиннадцать лет мальчик остался круглым сиротой, и началась жизнь скорбная, полная трудов и лишений. Отрок перебивался поденной работой и жил по чужим углам. В этот период молитва была неизменной спутницей его скорбной жизни, а храм - единственным местом утешения, куда его всегда влекла боголюбивая душа.
Через несколько лет он поступил на службу к Таганрогскому купцу, который, сердечно расположившись к старательному, добросовестному и смиренному юноше, решил женить его на своей дочери, но этого не произошло. Неожиданно пришло письмо сестры Александры, принявшей к тому времени постриг с именем Леонида в Борисовском монастыре. Она советовала брату идти в Оптину Пустынь, к старцам.
Преподобного старца Макария к тому времени уже не было в живых, но уже воссиял в Оптиной Пустыни новый светильник - преподобный старец Амвросий. «Батюшка, благословите в Киев», - на эти слова юного Ивана Литовкина последовал неожиданный ответ великого старца: «Зачем тебе в Киев, оставайся здесь». Так, 1 марта 1861 года начался иноческий путь длиной в полвека...
По оптинскому обычаю, каждый новоначальный должен был потрудиться в трапезной. На этом нелегком послушании обнаружились и окрепли добрые качества души будущего старца: беспрекословное послушание, трудолюбие, молчаливость и беззлобие. Навидавшись и натерпевшись всего в миру, он понимал, какой бесценный дар Божий - покои и тишина святой обители. И вскоре посетил его Господь великим утешением. Брат Иван был определен в келейники к преподобному Амвросию. Новый келейник перешел в «хибарку» старца Амвросия, где он и прожил более полувека - тридцать лет вместе с преподобным старцем и еще двадцать - без своего великого наставника. Здесь, в «хибарке» старца Амвросия, сделавшейся для него «училищем благочестия», он восходил по лествице добродетелей, постигал монашеское делание.
Многие скорби и тяготы перенес он в монастыре: и несправедливые упреки, и лишения, и болезни. Десятилетиями у него не было даже своего угла, где бы мог он почитать, помолиться, отдохнуть. Спал он в приемной, чуть не до полуночи полной посетителями, а в час ночи надо было уже идти к утрени...
Но испытания только укрепили и очистили душу, сделали брата Ивана совершенным послушником и монахом. В 1872 году он был пострижен в мантию с именем Иосиф, в 1877 году рукоположен в иеродиакона, а 1 октября 1884 года за литургией в честь торжественного открытия Шамординской женской обители будущий преподобный Иосиф был рукоположен в иеромонаха. К этому времени он уже был старшим келейником старца Амвросия. Тихий, серьезный, выходил он к посетителям, внимательно выслушивал, в точности передавал ответ старца, ничего не добавляя от себя. Но все чаще старец отсылал посетителей спросить совета у келейника, и всех поражало, что его слова буквально совпадали с тем, что говорил сам преподобный Амвросий.
В начале 1888 года преподобный Иосиф сильно простудился и заболел. Его отвезли в больницу и 14 февраля, по благословению старца Амвросия, постригли в схиму. По молитвам преподобного Амвросия смертельная болезнь отступила. В 1890 году старец Амвросий, уезжая в Шамордине, впервые не взял с собой верного помощника. «Тебе нужно здесь оставаться, ты здесь нужен», - сказал ему старец. 1891 год был последним в жизни старца Амвросия. Теперь преподобный Иосиф остался один. На него легли обязанности скитоначальника, духовника оптинской братии и шамординских сестер. Несмотря на слабое здоровье и непосильные труды, он не позволял себе никаких послаблений: был строгим постником, очень мало спал, носил старую и бедную одежду.
Он стяжал от Господа полноту духовных даров, и многие испытали на себе его дар прозорливости и исцелений. Он ни с кем не вел длинных бесед, умея в нескольких словах выразить самое главное, наставить и утешить. Сила его благодатной молитвы была выше и драгоценнее любых слов. Известен такой случай. Одна женщина, живя в Оптиной, сильно заболела; она попросила отвести ее в «хибарку» к преподобному. Он ее принял и, дав ей в руки свои четки, пошел в спальню, сказав: «Подожди». А когда он вышел, она совершенно забыла про свою болезнь.
Преподобный Иосиф в течение двенадцати лет был скитоначальником и духовником братии, но к 1905 году начал ослабевать. Он долго болел, терпеливо перенося все посылаемое от Господа.
Преподобный Иосиф тихо отошел ко Господу 9/22 мая 1911 года. 12 мая совершилось его погребение. Рука усопшего была мягкой и теплой, как у живого. 16 октября 1988 года были обретены святые мощи преподобного Иосифа.