Николай Иванович Харджиев родился 13 (26) июля 1903 года в украинском городе Каховка. Его отец Иван Егорович Харджиев (родом из обрусевшей армянской семьи) до 1917 года был служащим банка, после революции стал работником по снабжению. Мать Хрисиклия Мильтиадовна Василопуло — дочь греческого коммерсанта из Измира. В семье Харджиевых было четверо детей: трое сыновей и дочь.

В возрасте 9 лет Николай Харджиев поступил в гимназию, которую окончил в 1920 году. Через год он уезжает из Каховки в Одессу и учится на юридическом факультете института народного хозяйства. В своей автобиографии он пишет: «В 1925 году я окончил институт, но юристом не стал, так как более всего интересовался литературой. По окончании института был принят в члены литературной секции одесского окрполитпросвета и читал лекции о советской литературе в рабочих клубах, был преподавателем одесского техникума кинематографии. Осенью 1928 года уехал из Одессы в Москву, где и началась моя научная и литературная работа».

В 1934 году Н. И. Харджиев был принят кандидатом в члены Союза советских писателей. В январе 1940 года стал его членом. Характеристику ему, как следует из официальной справки, давали Шкловский и Брик. В бюрократических анкетах, которые постоянно требовалось заполнять в Союзе писателей, отчитываясь за количество изданного, Харджиев называет себя историком литературы и беллетристом. «Моя литературная работа, — подчеркивает он, — состоит из 3 основа ных разделов — стихотворения, история литературы и историческая проза». <

В 30—40-е годы он жил в Марьиной роще в Александровском переулке в деревянном доме на первом этаже с низким окном во двор, в комнате неполных 9 метров. Анна Ахматова называла ее «убежищем поэтов», а Надежда Мандельштам — «деревянной шкатулкой». Здесь в 1933—4941 года бывали Ахматова, Мандельштам, Пастернак, Крученых, Петников, Хармс, Введенский, Олейников, Зенкевич, Нарбут, Цветаева, Малевич, Татлин, Суетин, Пунин, Святополк-Мирский. Дом этот не сохранился. 28 мая 1967 года Надежда Мандельштам писала Харджиеву, вспоминая 1939 год: «...B день, когда я получила обратно посылку «за смертью адресата», я зашла сначала к брату Жене и толкалась, как слепая, по светлому коридору, не находя двери. Узнав о посылке, они мне сказали, что у Лены сейчас будут люди по делу (режиссеры!), попросту выгнали, и я ушла. Во всей Москве, а может, во всем мире, было только одно место, куда меня пустили. Это была Ваша деревянная комната, Ваше логово, "Ваш мрачный уют».

Ахматова называет Харджиева «другом многих горьких лет». «Харджиев сыграл большую роль в жизни Анны Ахматовой, — пишет в своих мемуарах Надежда Мандельштам. — Все трудное время она не делала ни шагу, не посоветовавшись с ним... И многие стихи появлялись в связи с разговорами с ним». Вспоминает Надежда Мандельштам и об отношении к Харджи-еву Осипа Мандельштама. Он сказал, что у Харджи-ева «абсолютный слух на стихи» и что «он хотел бы, чтобы именно такой человек издал его стихи».

Главные труды Н. И. Харджиева: редактирование и комментарий к полному собранию сочинений Маяковского, которому он отдал более 15 лет своей жизни, книги — «Неизданные произведения» В. Хлебникова и «Поэтическая культура Маяковского», историческая повесть о художнике Павле. Федорове, исследование, написанное для Института мировой литературы «Маяковский и Хлебников», первое в России издание Мандельштама, опубликованный в Стокгольме в 1976 году сборник «К истории русскою авангарда». В нем такие слова литературоведа Романа Якобсона о Харджиеве: «На редкость чуткий к языку пера и кисти, неотступно верный летописец русского культурного авангарда, неутомимый искатель и бережный хранитель опытов и памяток мятежного прошлого, заживо похеренного...».

Писатель и переводчик Андрей Сергеев, хорошо знавший Харджиева, называет его «рыцарем русской культуры». «Николай Иванович, человек неистового темперамента, крутого нрава, до отвращения не терпевший власть, — говорит он, — был для тех, кого любил, бескорыстным и преданным другом».

По словам архитектора Анатолия Попова, племянника Н. И. Харджиева, выбором своей профессии он обязан дядё. У Николая Ивановича, считает он, было лишь одно желание: рассказать о людях, которых он знал и любил. К сожалению, многое из задуманного и написанного им осталось невостребованным, ненужным.

В апреле 1993 года за шесть месяцев до отъезда Н. И. Харджиева и JI. В. Чаги в Голландию в России вступил в силу закон Российской Федерации «О вывозе и ввозе культурных ценностей», который устанавливает процедуру оформления вывоза личных коллекций в таких случаях, как у Н. И. Харджиева и JI. В. Чаги. Они в соответствии с законом (статья 30, часть 3) могли бы вывезти свой архив и коллекцию на неопределенно длительное время с одним ограничением — продать, подарить, завещать и т. д. произведения из коллекции или документы из архива они могли бы только таким образом, чтобы ценности вернулись в Россию.