Граф Сергей Юльевич Витте позже писал: «Великий Князь был хорошим кавказским наместником; он был человеком довольно ограниченным, государственно ограниченным, государственно малообразованным, но человеком с традициями, и традициями Великокняжескими. По убеждениям он был сын своего отца Николая Павловича, причем он обожал его память… Он держался тех же традиций, как держались и его предшественники; традиции же его предшественников были таковы: так как большая часть населения Кавказа приняла подданство России по их собственному желанию и так как православное население Кавказа, вообще все христианское население его, в продолжении всей кавказской истории было верно России, то наместники держались того принципа, что Кавказ должен быть частью Империи и что к христианскому населению Кавказа в особенности надо относиться так же, как к русским. При Великом Князе Михаиле Николаевиче Кавказ жил той же жизнью, как и при его предместниках, пользуясь, пожалуй, еще большим к себе вниманием по той простой причине, что Великий Князь был сначала братом Государя, а после смерти Александра II он был дядей Государя Александра III. Оба Государя относились к Великому Князю весьма родственно и ласково, что, впрочем, Великий Князь сам по себе вполне заслуживал, потому что это был прекраснейший, благороднейший человек… Михаил Николаевич оставил о себе на Кавказе самые лучшие воспоминания».

Но пребывание Михаила Николаевича на посту кавказского наместника вовсе не было легкой прогулкой. Ему довелось участвовать в Кавказской войне, окончательном покорении Чечни, Дагестана и Западного Кавказа. Он проводил в своих «владениях» те же реформы, которые благодаря его старшему брату шли в ту пору по всей стране: освобождение крестьян от крепостной зависимости, реформу крестьянского и народного управления, судебную, административную и военную реформы, улучшение путей сообщения и так далее.

Михаил Николаевич участвовал в Русско-турецкой войне и награжден орденом Св. Георгия I степени «за разбитие наголову кавказскими войсками под личным предводительством Его Высочества армии Мухтара-паши в кровопролитном бою 3 октября 1877 года на Аладжинских высотах и принуждение большей части оной сложить оружие».

На Кавказе у Михаила Николаевича и его жены родились еще четыре сына: Георгий, Александр, Сергей и Алексей. Великий князь был суровым отцом. Его сын Александр Михайлович вспоминал: «До пятнадцатилетнего возраста мое воспитание было подобно прохождению строевой службы в полку. Мои братья Николай, Михаил, Сергей и Георгий и я жили, как в казармах. Мы спали на узких железных кроватях с тончайшими матрацами, положенными на деревянные доски. Я помню, что много лет спустя, уже после моей женитьбы, я не мог привыкнуть к роскоши широкой кровати с двойным матрацем и полотняным бельем и потребовал назад мою старую походную кровать. Нас будили в шесть часов утра. Мы должны были сейчас же вскакивать, так как тот, кто рискнул бы „поспать еще пять минут“, наказывался самым строжайшим образом. Мы читали молитвы, стоя в ряд на коленях перед иконами, потом принимали холодную ванну. Наш утренний завтрак состоял из чая, хлеба и масла. Все остальное было строго запрещено, чтобы не приучать нас к роскоши.

Затем шел урок гимнастики и фехтования. Особое внимание было обращено на практические занятия по артиллерии, для чего в нашем саду стояло орудие. Очень часто отец без предупреждения заходил к нам на занятия, критически наблюдая урок по артиллерии. В возрасте десяти лет я мог бы принять участие в бомбардировке большого города. От 8 час. утра до 11 и от 2 до шести мы должны были учиться. По традициям, Великие Князья не могли обучаться ни в казенных, ни в частных учебных заведениях, а потому мы были окружены целым штатом наставников. Наша учебная программа, разделенная на восьмилетний период, состояла из уроков по Закону Божию, истории православной церкви, сравнительной истории других исповеданий, русской грамматике и литературе, истории иностранной литературы, истории России, Европы, Америки и Азии, географии, математики (заключавшей в себе арифметику, алгебру, геометрию и тригонометрию), языков французского, английского и немецкого и музыки. Сверх того нас учили обращению с огнестрельным оружием, верховой езде, фехтованию и штыковой атаке. Мои старшие братья Николай и Михаил изучали также латинский и греческий языки, нас же, младших, освободили от этой пытки. Учение не было трудным ни для меня, ни для моих братьев, но излишняя строгость наставников оставила в нас всех осадок горечи. Можно с уверенностью сказать, что современные любящие родители воспротивились бы, если бы их детей воспитывали так, как это было принято в русской Императорской Семье эпохи моего детства.

Из-за малейшей ошибки в немецком слове нас лишали сладкого. Ошибка в вычислении скоростей двух встречных поездов – задача, которая имеет для учителей математики особую притягательную силу, – влекла за собою стояние на коленях носом к стене в течение целого часа.

Однажды, когда мы были доведены до слез какой-то несправедливостью педагогов и попробовали протестовать, последовал рапорт отцу с именами зачинщиков, и мы были сурово наказаны.

Для меня навсегда останется непостижимым, как такая давящая система воспитания не притупила наши умы и не вызвала ненависти ко всем тем предметам, которым нас обучали в детстве…

В глазах наших родителей и воспитателей мы были здоровыми, нормальными детьми, но современный педагог нашел бы в нас неудовлетворенную жажду к большей ласке и к проявлению привязанности. Мы страдали душой от одиночества. Наше особое положение отдаляло нас от детей нашего возраста. Нам не с кем было поговорить, и каждый из нас был слишком горд, чтобы делиться своими мыслями с другими братьями.

Одна мысль о том, чтобы явиться к отцу и утруждать его неопределенными разговорами без специальной цели, казалась просто безумием. Мать наша, со своей стороны, направляла все усилия к тому, чтобы уничтожить в нас малейшее внешнее проявление чувства нежности. В свои юные годы она прошла школу спартанского воспитания, по духу того времени в Германии, и не порицала ее…».

Со стороны глядя, это была очень замкнутая и строгая пара. Но если между ними и бывали какие-то разногласия, то они оставались внутри семьи, точнее – между великим князем и княгиней. Даже дети об этом не знали, не говоря уже о слугах, родственниках, друзьях или подчиненных. Неслучайно в весьма обширных мемуарах Александра Михайловича очень немного места уделено родителям. Кажется, князь толком не знал их.