Яков рос озорным, неугомонным мальчиком. Проигрывая в росте и здоровье сверстникам, но обладая упрямством и громким голосом, он всегда верховодил во всех ребячьих проделках. В гимназии он постоянно конфликтовал с учениками и преподавателями, оценка за поведение — неудовлетворительная. С большим трудом он дотянул до пятого класса, откуда его выгнали. С тринадцати лет увлекся политикой, в четырнадцать обзавелся пистолетом. Со своим другом Лубоцким (Загорским) вступил в нелегальный кружок и начал борьбу с самодержавием за освобождение рабочего класса. Правда, сам в рабочие не пошел, а устроился учеником аптекаря. Однако долго в аптеке не задержался, полностью перешел на путь профессионального революционера.

Уральский социал-демократ Николай Алексеевич Чердынцев при царской власти просидел несколько лет в екатеринбургской тюрьме. Много лет спустя он вспоминал о своих встречах с Яковым Свердловым.

«Он возглавил дружину из своих подручных. Дружинники хватали крыс, кидали их в парашу, чтобы они там утонули, сапогами отталкивали крыс от краев, не давая им вылезти, и при этом от души смеялись. Другим их развлечением было повешение крыс…

В тюрьме процветала групповщина. Верховодами были Свердлов и Теодорович (Иван Адольфович Теодорович — член ЦК РСДРП(б). — Прим, авт.), которые поддерживали только своих, пусть они даже совершили подлость. Поведение этих людей определялось не социалистическими идеалами, а жаждой власти, жаждой доминировать… Свердлов не гнушается вступать в дружеские отношения с отпетыми уголовниками.

О чем-то договаривается. Ведет себя как власть имущий, держит себя по-диктаторски. Вся эта манера — изображать из себя что-то важное, имеющее силу и волю везде, могущее карать и миловать, — это признак низости ума и сердца».

В заключении он прославился не только своей жестокой расправой над крысами, но и тем, что писал жалобы за других осужденных, предъявлял ультиматумы «гражданину начальнику» и был старостой. На сохранившихся тюремных фотографиях Яков Свердлов сидит на нарах впереди уголовников, сложив по воровской традиции ноги по-турецки.