В середине XIX в. дом перешел в собственность купцов Елисеевых. Основатель династии П. Е. Елисеев перебрался из деревни Новоселки, что в Ярославской губернии, в столицу в 1813 г. и сразу записался в купеческое сословие. В доме К. Б. Котомина (дом № 18) он снял под лавку помещение на углу Невского проспекта и Большой Морской улицы. После смерти Петра Елисеевича дело продолжили сыновья – Григорий и Степан.
Приобретя серьезный капитал, братья стали вкладывать деньги в покупку недвижимости. В числе их первых покупок стал дом каменный четырехэтажный статского советника Г. Лерхе на углу Большой Морской и Гороховой улиц. Незадолго до этого его перестроили по проекту архитектора П. П. Жако. А в 1858 г. они купили «дом А. И. Косиковского» у сыновей уже умершего к тому времени Андрея Ивановича (умер в 1838 г. и похоронен на Тихвинском кладбище Александро-Невской лавры).
Помещения в главном корпусе, вытянутом вдоль Невского проспекта, и в корпусе по Большой Морской улице Елисеевы стали сдавать, а в корпусе на набережной Мойки решили поселиться сами, перебравшись сюда из дома К. Б. Котомина. Все чаще «дом А. И. Котомина» в городе стали называть «домом Елисеевых».
По проекту архитектора Н. П. Гребенки провели реконструкцию здания, но внешний его облик почти не изменился. Так, например, овальные окна на главном фасаде стали прямоугольными, а колонны нижнего яруса заменили массивными пилонами. Корпус, выходящий на набережную Мойки, надстроили, и он стал четырехэтажным. О внутренней отделке этого здания в то время почти ничего не известно. В 1860 г. дом полностью перешел к С. П. Елисееву.
В январе 1862 г. в «доме Елисеевых», в корпусе по Невскому проспекту, по инициативе большого любителя шахмат и владельца газеты «Русское слово» графа Г. А. Кушелева-Безбородко открылся «Шахматный клуб». Прошение на имя генерал-губернатора Петербурга князя А. А. Суворова подписали также Н. Г. Чернышевский и Н. А. Некрасов. Членами клуба являлись Д. И. Писарев, Н. Г. Помяловский, И. И. Панаев, А. А. Краевский, П. Л. Лавров, Н. И. Лесков и многие другие видные писатели и общественные деятели того времени.
Клуб быстро превратился в центр критического обсуждения разных общественных проблем, обмена мнениями по острым вопросам внутренней и внешней политики властей. Естественно, он привлек внимание Третьего отделения. В донесении петербургскому обер-полицмейстеру генерал-адъютанту И. В. Анненкову сообщалось: «Мысль об учреждении шахматного клуба принадлежала Герцену, от которого покойный Добролюбов получил ее во время своего путешествия за границу, и по приезде его эта мысль была осуществлена графом Григорием Александровичем Кушелевым-Безбородко. На вечерах этого клуба собирались люди всех оттенков революционной партии. Пропаганда велась всеми возможными способами… Главные члены клуба были члены крайней партии: Благосветов, Чернышевский, Писарев, Попов, Мордовцев, Гиероглифов, партия В. Курочкина, Всеволод Костомаров, Николай Курочкин, Елисеев, Гербель, Виктор Михайлов, Антонович, Ипполит Панаев, графы Ростовцевы, князь Сибирский, граф Кушелев, Серно-Соловьевич и другие многие… Прокламации и издание «Великорус» вышли из среды шахматного клуба…».
Неудивительно, что уже в июне того же года, после произошедших в городе студенческих волнений, «Шахматный клуб» закрыли. В газете «Русский инвалид» по этому поводу появилось следующее объявление: «С.-Петербургский военный генерал-губернатор, считая в настоящее время своей обязанностью принимать все меры к прекращению встревоженного состояния умов и к предупреждению между населением столицы не имеющих никакого основания толков о современных событиях, признал необходимым закрыть, впредь до усмотрения, шахматный клуб, в котором происходят и из коего распространяются те неосновательные суждения».
На третьем этаже, теперь уже в «доме Елисеевых», продолжало арендовать зал Благородное собрание. Здесь по-прежнему устраивались литературные и музыкальные вечера с участием известных писателей и артистов. Неоднократно выступал на таких вечерах Ф. М. Достоевский, мастерство которого как чтеца отмечали все современники. В 1859 г. в Зале благородного собрания прошли первые концерты Русского музыкального общества, созданного композитором и музыкантом А. Г. Рубинштейном, а в 1867 г. на сцене зала начали ставить театральные спектакли. Здесь впервые перед петербургской публикой выступила выдающаяся актриса, будущая прима Александринского театра М. Г. Савина. Ее дебют состоялся в марте 1874 г. в пьесе Л. Н. Антропова «Блуждающие огни».
Неоднократно здесь устраивались благотворительные вечера. Так, например, в марте 1879 г. состоялись литературные чтения, в которых приняли участие Ф. М. Достоевский, М. Е. Салтыков-Щедрин, А. Н. Плещеев, Я. П. Полонский. На этом вечере И. С. Тургенев вместе с М. Г. Савиной читал сцены из «Провинциалки». Вырученные средства передали Литературному фонду для оказания помощи вдовам и сиротам литераторов. В 1892 г., в одном из февральских номеров газеты «Санкт-Петербургские ведомости» можно было прочитать объявление о том, что в Зале благородного собрания состоится спектакль и бал в пользу малолетних детей воинов, потерявших здоровье на службе. В спектакле принимали участие артисты Императорских театров.
В ноябре 1902 г. в Зале благородного собрания с большим успехом прошел первый в России граммофонный концерт. Слушатели в забитом до отказа зале смогли прослушать пластинки с записями лучших русских и иностранных исполнителей.
В начале XX в. второй этаж главного корпуса «дома Елисеевых» занял коммерческий Центральный банк общества взаимного кредита (ранее здесь располагалась банковская контора «Георг Верблюнер и К°»). Первый этаж занимали разные магазины – винный магазин Депре (с 1820 г.), перчаточный магазин Везина (с 1825 г.), магазин канцелярских принадлежностей Сушкина (с 1851 г.).
К этому времени владельцем дома стал уже П. С. Елисеев, сын Степана Петровича Елисеева. А сыновья Григория Петровича жили в доме № 14 по Биржевой линии Васильевского острова. В этом доме располагалась и главная контора «Торгового дома Елисеевых». П. С. Елисеев из семейного дела вышел и организовал свои предприятия. Самым крупным из них стало страховое общество «Русский Ллойд». Позднее он принимал участие в учреждении «Русского торгово-промышленного банка» и «Русского для внешней торговли банка».
При П. С. Елисееве, в 1902 г., по проекту архитектора А. К. Гаммерштедта практически полностью изменили интерьеры дома. В корпусе по набережной Мойки появились дубовый вестибюль, парадная мраморная лестница, украшенная витражным плафоном, лепкой и росписями на стенах, кабинет в стиле ампир, приемная в стиле Людовика XVI и другие парадные помещения. В их отделке использовались мрамор, бронза, ценные породы дерева, богемский хрусталь. Комнаты и залы украшали хрустальные торшеры французской фирмы «Баккара», мраморные камины и камины с резным деревянным обрамлением, бронзовые люстры, витражи.
Считается, что от отделки XVIII в. сохранились только две колонны и два пилястра коринфского ордера. Эти колонны и пилястры из искусственного мрамора стоят на высоких пьедесталах и обрамляют вход в круглом зале третьего этажа на углу Невского и Мойки. Мотивы классицизма можно разглядеть и отделке парадных помещений главного корпуса, вытянутого вдоль Невского проспекта. Следует также отметить, что уже к концу XIX в. в полукруглом дворе дома построили несколько флигелей.
В октябре 1913 г. в доме № 15 на Невском проспекте праздновали 100 лет со дня основания «Торгового дома Елисеевых». Правда, основные торжества, на которых присутствовало около 4 тысяч человек, проходили в доме Г. Г. Елисеева на Биржевой линии Васильевского острова. А спустя 9 месяцев началась Первая мировая война, которая для России закончилась сначала Февральской революцией 1917 г. и отречением царя, а затем – октябрьским переворотом, в результате которого к власти в стране пришли большевики.
«Дом Елисеевых» (Невский пр., 15) в начале 1900-х гг.
Перспектива Невского проспекта от Полицейского моста в сторону Адмиралтейства. Раскрашенная фотооткрытка начала XX в.
С. П. Елисеев с семьей в 1917 г. покинули Россию, в 1937 г. скончался во Франции, а сын Петр в 1924 г. разбился на мотоцикле. В доме на Невском осталась прислуга ожидать окончания смутного времени и возвращения хозяев. Впрочем, это не особо спасло дом от грабежей, поскольку ходили слухи, что свое золото Елисеевы перед отъездом за границу замуровали в стенах дома.