Сформирован 25 мая 1942 года в составе двух рот тяжелых танков. Однако только в конце августа 1942 года это подразделение частично получило материальную часть. По немецким данным в сентябре 1942 года 1-я рота 502-го тяжелого танкового батальона имела в своем составе 9 тяжелых танков Pz.Kpfw.VI(Н) «Тигр I», 9 средних танков огневой поддержки Pz.Kpfw.III Ausf.N и 9 средних танков Pz.Kpfw.III с 50-мм длинноствольной пушкой.

29 августа 1942 года в боях в районе станции Мга (юго-восточней Ленинграда) участвовало только 4 танка 1-го взвода. В повторной атаке от 22 сентября 1942 года участвовали те же машины при поддержке нескольких Pz.Kpfw.III.

Видимо в тот период не все заявленные в ведомости «Тигры» попали на фронт, потому что 2-я рота 502-го отдельного батальона тяжелых танков 24 декабря 1942 года была придана 503-му батальону тяжелых танков. 10 февраля 1943 года эта рота была переименована в 3-ю роту 503-го батальона тяжелых танков.

В этот период эмблемой батальона являлось изображение мамонта, очерченное контуром белого цвета. Сами танки окрашивались в темно-серый цвет (Schwarz Grau RAL 7021) и несли трехзначные белые номера на башнях. Белый мамонт был нарисован на задней части забашенного ящика и на лобовой плите корпуса. С наступлением зимы танки окрашивались легкосмываемой белой краской, причем на многих машинах были закрашены тактические номера. На некоторых танках оставили одну большую черную цифру, по-видимому, номер роты. Белый мамонт в качестве эмблемы больше не использовался.

2-я рота 502-го батальона тяжелых танков в составе 9 танков Pz.Kpfw.III Ausf.N вместе с 503-м батальоном тяжелых танков «Тигр» была направлена на южный фланг советско-германского фронта, в состав группы армий «Дон», где 7 января 1943 года это подразделение вступило в бой. Уже 10 февраля 1943 года 2-я рота 502-го батальона тяжелых танков была переименована в 3-ю роту 503-го батальона тяжелых танков. По-видимому, в период боевых действий под Ростовом танки 2-й роты 502-го батальона также были окрашены в темно-серый цвет.

1-я рота 502-го батальона (4 Pz.Kpfw.VI(H)) тяжелых танков продолжала вести бои в районе Ленинграда. К 2 февраля 1943 года все эти танки были выведены из строя. Но к 5 февраля 1943 года прибыло пополнение в составе трех танков «Тигр».

1 апреля 1943 года началось формирование 2-й и 3-й рот 502-го батальона тяжелых танков «Тигр», так как 5 марта 1943 года для этих подразделений утвердили новую штатную структуру. По ней в отдельном батальоне тяжелых танков числилось уже 45 «Тигров»: 3 в управлении батальона и 42 линейных — по 14 машин в каждой роте. Поэтому остатки 1-й роты весной 1943 года также отправили в тыл на пополнение.

В 1943 году «Тигры» 502-го батальона были целиком окрашены в темно-желтый цвет (Dunkel Gelb). Машины 2-й и 3-й рот несли черные, а танки 1-й роты — белые номера на башнях.

В зимний период (а «Тигры» 502-го батальона вновь появились на советско-германском фронте в районе Невеля осенью 1943 года. — Прим. авт.) танки батальона окрашивались белой краской, а номера замазывались.

В феврале-марте 1944 года батальон вместе с немецкими войсками отступивший от Ленинграда, оборонял позиции в районе Нарвы, а затем вел бои на территории Северо-Западной России и Прибалтики. В апреле 1944 года батальон был переведен в район Пскова, в июне вел бои в районе Острова. В июле 1944 года батальон участвовал в боях на территории Латвии, под Биржаем и Росеняем, а затем «оборонял» Ригу. После того как 9 октября 1944 года советские войска вышли к Балтийскому морю, немецкие войска были окружены в Курляндии. Именно там до начала января 1945 года находился 502-й батальон тяжелых танков. В этот период он состоял из из двух танковых рот, оборонявших в конце 1944 года Клайпеду (Мемель). Материальная часть 3-й роты еще 12 ноября 1944 года была передана в 510-й батальон тяжелых танков.

В течение 1944 года танки батальона окрашивались по трехцветной схеме, номера были красного цвета с белой окантовкой. Танки штаба батальона несли номера «001», «002» и «003».

5 января 1945 года 502-й батальон тяжелых танков был переформирован в 511-й батальон тяжелых танков вермахта.

511-й армейский батальон тяжелых танков (schwere Panzer-Abteilung 511) появился 5 января 1945 года в результате переформирования 502-го батальона в 511-й.

В момент переименования батальон в составе двух рот находился в районе Клайпеды. Третья рота в начале января не имела материальной части, так как еще 12 ноября 1944 года все оставшиеся шесть танков Pz.Kpfw.VI Ausf.E «Тигр I» из этой роты были переданы в 510-й батальон тяжелых танков. В то же время часть танков 502/511-го батальона была передана в это подразделение из состава батальона тяжелых танков танкового корпуса «Великая Германия». На 15 марта 1945 года в составе батальона числилось 20 танков Pz.Kpfw.VI Ausf.E (из них 11 исправных).

Третья рота 511-го батальона была вновь укомплектована 31 марта 1945 года. В этой роте числилось 8 танков Pz.Kpfw.VI Ausf.B «Королевский Тигр». Часть из них была поставлена фирмой Henshel, а остальные прибыли на укомплектование после ремонта. Обе роты батальонов были отправлены на Западный фронт и участвовали в боях под городом Касселем.