Яков Свердлов родился 23 мая 1885 года в семье владельца граверной мастерской в Нижнем Новгороде в семье Мираима (Мойше — это имя часто упоминается в отчестве сына) Израилевича Свердлина (фамилию отца Яков никогда не упоминал различных анкетах, автобиографиях и т. п., предпочитая писать Свердлов) и его первой жены Елизаветы Соломоновны. У Мойше Свердлина был двоюродный брат — отец будущего наркома госбезопасности Генриха Ягоды. Да и его сын какой-то время трудился подмастерьем в граверной мастерской. Однажды он захотел открыть свое дело и сбежал со всеми инструментами. Бизнес запустить так и не удалось, и пришлось неудачнику возвращаться обратно. Мойше Свердлин простил непутевого родственника и снова взял его на работу. А после Октябрьской революции его карьерой занялся сын. Этих услуг будущий нарком госбезопасности не забыл.

После смерти Якова Свердлова именно Генрих Ягода продолжал оказывать поддержку другим членам семьи Свердлина. Будущий высокопоставленный партийный функционер рос вместе с двумя братьями — Вениамином, Залманом (вошедшим в историю под именем Зиновий) и сестрой Софьей.

В семье все занимались революционной деятельностью. В мастерской изготовлялись фальшивые штампы и печати, которые затем использовались при производстве поддельных удостоверений личности.

Старший братЯкова, Зиновий, в результате каких-то сложных душевных процессов пришел к глубокому внутреннему кризису и порвал не только с революционным окружением, но и с иудаизмом. Отец проклял его традиционным еврейским проклятием. Хотя вероотступник не пропал — его усыновил писатель Максим Горький, но и от него он вскоре ушел в «самостоятельное плаванье». В годы Гражданской войны он официально работал на французскую разведку и закончил военную карьеру в звании генерала, а неофициально (пресс-бюро Службы внешней разведки РФ отрицает этот факт) оказывал конфиденциальные услуги Москве.

Второй брат Якова, Вениамин, не питая склонности к революционной деятельности, эмигрировал из неспокойной Российской империи в США и стал там собственником небольшого банка. По утверждению отдельных историков, в сферу его бизнес-интересов входила поставка оружия царскому правительству. А его партнером по бизнесу выступал будущий известный британский разведчик Сидней Рейли. После Октябрьской революции Вениамин вернулся назад и по протекции брата занял пост наркома путей сообщений, но не справился с работой и был уволен. Какое-то время Вениамин Свердлов был членом Президиума ВСНХ. Заведовал его научно-техническим отделом, но и тут не сумел долго продержаться — снова лишился своего поста. А может, после смерти брата некому было опекать беспартийного чиновника с «пятнами» (бизнес в Америке) в биографии.

Софью Мойше Свердлин удачно выдал замуж за владельца пароходной кампании на Волге Леонида Исааковича Авербаха. У супругов было двое детей — Ида и Леопольд.

Ида работала следователем. Дослужилась до должности заместителя прокурора города Москвы. Еще она занималась литературной критикой. Известность приобрела как жена наркома внутренних дел СССР, всемогущего Генриха Ягоды.

Леопольд Авербах, благодаря родству с Яковом Свердловым, со временем стал главой Российской ассоциации пролетарских писателей, пресловутого РАППа. Власти делили всех «инженеров человеческих душ» на пролетарских писателей и писателей-попутчиков. В творчестве первых доминирующую роль играло не проникновение во внутренний мир героя, а верность идее, отражение классовых идеалов. От писателей требовалось, чтобы их произведения были наглядными и прикладными, как агитки Демьяна Бедного. Чтобы писатели не занимались рассусоливанием, не копались в переживаниях, не препарировали их, а били в лоб. Причем в нужном направлении. Члены РАППа, в большинстве своем, не столько создавали новые произведения, сколько критиковали других. Выискивали крамолу. Докапывались до противоугодного. И тащили уличенных к позорному столбу. Чтобы неповадно было. Постепенно он подчинил себе всю литературную жизнь в Советской России.

В начале своей карьеры Леопольд пытался заниматься политикой, делая карьеру по комсомольской линии, но потом увлекся журналистикой и изданием газет. Особых литературных способностей у него не было, да и четыре класса гимназии не позволили ему освоить «великий и могучий русский язык»— писал он с многочисленными ошибками и довольно коряво. Зато обладал необходимыми для новых властей качествами и смог создать РАПП.

Племянница Якова Свердлова, Ида, и племянник Леопольд были расстреляны. Ида — как жена Генриха Ягоды. В ту пору с родственниками не церемонились. Леопольда сочли скрытым приверженцем Льва Троцкого.