О родителях Сайго нам известно очень немного. Его отец, Сайго Китибэи (1807–1852), служил начальником налогового отдела в управлении финансов княжества. Он имел ранг косогуми, который был восьмым в иерархии из десяти самурайских рангов. Обладатели двух низших рангов — ерики и асигару — обычно исполняли только второстепенные обязанности, такие, как несение караульной службы, так что Китибэи по своему рангу был «белым воротничком» среди городских самураев. Как глава отдела, он занимал самую высокую должность, на которую ему можно было рассчитывать по своему статусу. Он имел репутацию честного, трудолюбивого и бескорыстного чиновника. О матери Сайго, Маса (?—1852), нам известно еще меньше. Ее отцом был местный самурай Сибара Кэнэмон. Впоследствии Сайго с теплотой отзывался о ней, как о терпеливой и заботливой женщине.

Сайго родился 7/12/1827, став первым ребенком у своих родителей. Согласно обычаю той эпохи, Сайго в течение жизни несколько раз изменял полученное при рождении имя. В феодальной Японии имена были не столько абсолютными идентификаторами личности, сколько показателями возраста и общественного статуса. Самурай изменял свое имя по мере взросления. Малыш, мальчик, женатый мужчина и удалившийся на покой глава семьи — каждый имел свой круг обязанностей, и поэтому смена имени была вполне естественным шагом. В первые годы своей жизни Сайго был известен как Сайго Кокити и Сайго Дзюроку, но в семилетием возрасте он получил имя Китиносукэ. Став взрослым, он взял имя Такамори. 10/2/1853, после смерти отца, он заполнил официальные бумаги, чтобы изменить свое имя на Дзэнбэй, а 8/10/1858 он взял имя Сансукэ, но в личной переписке продолжал использовать имена Китиносукэ, Такамори и Дзэнбэй. Сайго также был широко известен по своему поэтическому псевдониму Сайго Нансю, или Сайго с Юга, который он взял, находясь в ссылке. Как и все его современники, Сайго мог использовать несколько имен одновременно: официальное имя для работы, неофициальное в кругу друзей — и несколько псевдонимов, чтобы подписывать ими свои стихи.

В своей семье Сайго был старшим из семерых детей — четверых сыновей и троих дочерей. Самый поздний из детей, Кохэй (1847–1877), был младше Сайго почти на двадцать лет. В одном доме с Сайго жили родители Китибэи, Сайго Рюдзаэмон (?—1852) вместе с женой (1775–1862), а также семья его младшего брата, так что максимальное количество домочадцев составляло шестнадцать человек. Доход Китибэи, как чиновника налогового управления, никогда не удовлетворял полностью его потребности на содержание семьи. Семейный дом в Ситанокадзия находился в плачевном состоянии и постоянно нуждался в ремонте. Поскольку не хватало спальных мест на всех членов семьи, Сайго спал со своими братьями под одним одеялом. Это было особенно неудобно из-за того, что все дети были крупными: когда мужчины Сайго вырастали, их рост обычно достигал шести футов (180 см). В 1855 году семья переехала на другой берег реки, в Уэносоно, но их новый дом оказался таким же ветхим. Невестка Сайго, Иваяма Току, вспоминала, что «дом в Уэносоно находился в очень плохом состоянии. Пол в нем прогнулся, как утиное гнездо».

Чтобы хоть как-то сводить концы с концами, семья Сайго брала часто взаймы и занималась сельским хозяйством. Так, например, в 1847 и 1848 годах Сайго Такамори и его отец одолжили в общей сложности 200 золотых рё у семейства Итагаки, которые были богатыми землевладельцами в округе Мидзухики, ныне представляющем собой часть города Кагосима. Это была огромная сумма, равная многолетнему доходу самураев или ремесленников. Семья Сайго не имела никакого дополнительного обеспечения, кроме своего имени, и ей не удавалось делать регулярные взносы в счет погашения долга. Только в 1872 году, когда Сайго получил пост государственного советника (ранги) в правительстве Мдйдзи, семья начала постепенно возвращать долг.

На одолженные деньги семья купила землю для возделывания. Дошедшие до нас записи достаточно скудные, но мы знаем, что семья владела по меньшей мере одним участком в Ниси бэппу, теперь расположенным в пределах городской черты Кагосима. Согласно налоговой ведомости, земля возделывалась владельцем, которым значился Сайго Китибэи. Иваяма Току вспоминала, что младший брат Сайго, Китидзиро, собирал в Ниси бэппу хворост, привозил его на спине вьючной лошади обратно в самурайский квартал и подавал от двери до двери. Неясно, приходилось ли когда-нибудь самому Та-камори стоять на рисовом чеке с мотыгой в руке, но как старший сын и наследник он был очень хорошо знаком с финансовой стороной семейного земледелия.

Даже с этим дополнительным доходом семья Сайго жила очень скромно. Женщинам самим приходилось заниматься стиркой и уборкой, и Иваяма позднее вспоминала, как однажды человек, заглянувший к ним в дом, по ошибке принял ее за служанку. Эти стесненные обстоятельства сформировали личность и философию юного Такамори. Его отец, Китибэи, формально считался полным самураем (см или дзокаси), и теоретически получаемого им жалованья должно было хватать на содержание семьи. Но на практике семья Сайго жила скорее как госи — экономически самостоятельные «сельские воины». Госи были потомками выходцев из самых низов воинского сословия, высланных в сельскую местность, где они контролировали крестьян. Как городской самурай, Сайго имел значительно более высокий статус, чем госи. Пропасть между истинным, городским самураем и госи была настолько велика, что любой самурай, которому показалось, будто бы госи каким-то образом задел его честь, имел законное право зарубить наглеца на месте. Поскольку самурай защищал свою честь, это не считалось оскорблением, и ему оставалось только убедить свое начальство в серьезности оскорбления. И вот, хотя юный Такамори, как полный самурай, являлся членом этой элиты, экономически он был значительно ближе к госи. Сайго приходилось постоянно сталкиваться с несоответствием между своим номинальным и реальным статусом.

Этот разрыв между формальным положением и повседневной жизнью наделил Такамори скромностью и глубоким чувством чести. Сайго не имел возможности наслаждаться привилегиями своего элитного статуса, но он мог облагородить свою бедность, перрнося ее со стоицизмом и достоинством. В 1872 году, когда Сайго, наконец, заплатил часть своего двадцатипятилетнего долга Итагаки, он принес самые глубокие извинения за свою затянувшуюся неплатежеспособность:

«Я прибыл только вчера, вместе со свитой его величества, так что надеюсь, вас не обидит некоторая поспешность моих строк. Много лет назад мой покойный отец взял у вас взаймы. После его кончины я и мои братья, испытывая большие трудности, ни разу не нанесли вам визит и оставили свой долг без изменений. Здесь я просто не нахожу слов… В прошлом году я переехал в столицу, где мне была поручена важная работа в правительстве, занявшая все мое время. Это высокое назначение, которого я недостоин, стало возможным для меня только благодаря тому, что мой отец одолжил у вас крупную сумму денег, которая позволила ему вырастить и поставить на ноги своих многочисленных детей. Мой отец постоянно напоминал мне об этом. Все это время я искренне желал расплатиться с вами, но просто не сумел найти способа вернуть свой долг; более того, я заплатил вам проценты лишь за один год, за что приношу свои самые глубокие извинения. Я надеялся, что мое нынешнее возвращение в родные края позволит мне, наконец, развеять последние тревоги моего покойного отца, но поскольку наша безземельная семья имеет большое количество иждивенцев, оказалось, что выплатить все проценты и основную часть долга за один раз нам не по силам. Я прошу вас с пониманием отнестись к нашим затруднениям и проявить снисходительность в этом вопросе».

Эти строки позволяют достаточно хорошо понять отношение Такаморц к деньгам. Из письма неясно, что именно он вернул — основной долг, часть процентов или и то, и другое. Только из ответа Итагаки мы узнаем, что Сайго выплатил 400 иен — основной долг и проценты примерно за восемь лет. Итагаки дипломатично отказался принять проценты и вернул ему 200 иен.

Сайго научился наслаждаться своим привилегированным, но в то же время скромным положением. В последующие годы, когда его финансовое положение стало менее затрудненным, он оставался равнодушным к дорогой одежде и предметам роскоши. Он говорил, что такие вещи не должны интересовать самурая. Его любимое развлечение взрослых лет — охота с собственными собаками — по скромности средств больше подходило для самурайского мальчика. Чтобы отдохнуть и расслабиться, он мог заняться плетением охотничьих сандалий из соломы или изготовлением приманок для рыбалки. Любовь к простым, традиционным развлечениям отличала Сайго от его коллег по работе в правительстве

Мэйдзи, которые использовали свое новоприобретенное богатство и влияние для того, чтобы устраивать развлекательные мероприятия по западному образцу, к примеру, на проведение костюмированных балов в европейском стиле. Для Сайго такие расточительные нововведения были олицетворением революции, пошедшей по неверному пути.