Боевое крещение Pz.II приняли в марте 1938-го, в ходе операции по присоединению Австрии к рейху, так называемом аншлюсе. Боевых столкновений в ходе этой операции не было, но во время марша до Вены около 30 % «двоек» вышло из строя по техническим причинам, главным образом из-за низкой надежности ходовой части. Бескровно прошло и присоединение к Германии Судетской области Чехословакии в октябре 1938 года — как результат Мюнхенского сговора. Потерь в материальной части было уже значительно меньше, поскольку для перевозки Pz.II к местам сосредоточения использовались грузовые автомобили Faun L900 D567 (6x4) и двухосные прицепы Sd.Anh.115.

За Судетской областью последовала оккупация Чехии и Моравии. 15 марта 1939 года первыми вступили в Прагу Pz.II из состава 2-й танковой дивизии Вермахта.

Накануне Польской кампании Pz.II, наряду с Pz.I, составляли большинство боевых машин Панцерваффе. 1 сентября 1939 года немецкие войска располагали 1223 танками этого типа. В каждую роту легких танков входил один взвод (5 единиц) «двоек». Всего же в танковом полку имелось 69 танков, а в батальоне — 33.

Только в строю 1-й танковой дивизии, лучше других укомплектованной танками Pz.NI и Pz.IV, находилось 39 Pz.II. В дивизиях двухполкового состава (2-й, 4-й и 5-й) насчитывалось до 140, а однополковых от 70 до 85 танков Pz.II. 3-я танковая дивизия, в состав которой был включен учебный батальон (Panzer Lehr Abteilung), располагала 175 танками Pz.II. Меньше всего «двоек» имелось в составе легких дивизий. Машины модификаций D и Е состояли на вооружении 67-го танкового батальона 3-й легкой дивизии и 33-го танкового батальона 4-й легкой дивизии.

Броня «двоек» без усилий пробивалась снарядами 37-мм противотанковых пушек wz.36 и 75-мм полевых пушек польской армии, что выяснилось уже 1–2 сентября при прорыве позиций Волынской кавалерийской бригады под Мокрой. 1-я танковая дивизия потеряла там восемь машин Pz.II. Еще большие потери — 15 танков Pz.II — понесла 4-я танковая дивизия на подступах к Варшаве. Всего же за время Польской кампании до 10 октября Вермахт потерял 259 танков этого типа. Однако безвозвратные потери составили только 83 машины.

Для участия в захвате Дании и Норвегии был сформирован 40-й батальон специального назначения (Panzer Abteilung z.b. V 40), состоявший из трех рот, в каждую из которых, в отличие от штатной организации Панцерваффе, входило всего три взвода. На вооружении батальона находились легкие танки Pz.I и Pz.II, а также командирские машины Pz.Bef.Wg.

Вторжение в Данию началось 9 апреля 1940 года. Датские войска практически не оказали сопротивления, и боевые действия завершились еще до полудня. Вскоре «единички» и «двойки» 1-й и 2-й рот 40-го батальона продефилировали по улицам Копенгагена.

Тем временем 3-я рота направлялась в Норвегию. По пути не обошлось без потерь — вечером 10 апреля транспорт «Antaris Н» торпедировала британская подводная лодка, и он затонул с пятью танками на борту. Другой пароход — «Urundi» — сел на мель и прибыл в Осло только 17 апреля. В качестве компенсации за понесенные потери два дня спустя батальону был придан взвод из трех тяжелых трехбашенных танков Nb.Fz. К 24 апреля на Скандинавский полуостров прибыли и две другие роты батальона. Теперь в его составе насчитывалось 54 танка; 3 Nb.Fz., 29 Pz.I, 18 Pz.II и 4 командирских. Эти боевые машины использовались для поддержки пехоты в боях с высадившимися в Норвегии вслед за немцами английскими и французскими войсками. В ходе этих боев, в которых участие танков носило, впрочем, весьма ограниченный характер, батальон потерял 11 машин, из них — два Pz.II Ausf.C.

К началу наступления на Западе 10 мая 1940 года Панцерваффе располагали 1110 танками Pz.II, 955 из которых находились в боеготовом состоянии. При этом количество танков в разных соединениях существенно различалось. Так, в 3-й танковой дивизии, действовавшей на фланге, их имелось 110, а в 7-й танковой генерала Э. Роммеля, находившейся на направлении главного удара, — 40. Против хорошо бронированных французских легких и средних танков «двойки» были практически бессильны. Они могли поразить машины противника только с близкой дистанции в борт или корму. Впрочем, танковых боев в ходе французской кампании было мало. Основная тяжесть борьбы с французскими танками легла на плечи авиации и артиллерии. Тем не менее, урон немцы понесли весьма существенный, в частности, они потеряли 240 танков Pz.II.

Летом 1940 года 52 «двойки» из состава 2-й танковой дивизии были переоборудованы в плавающие танки. Из них сформировали два батальона 18-го танкового полка 18-й танковой бригады (позже развернутой в дивизию). Предполагалось, что вместе с подготовленными для движения под водой Pz.III и Pz.IV «двойки» примут участие в операции «Морской лев» — высадке на побережье Англии. Обучение экипажей к движению на плаву осуществлялось на полигоне в Путлосе. Поскольку высадка на берега «Туманного Альбиона» не состоялась, Schwimmpanzer II перебросили на восток. В первые часы операции «Барбаросса» эти танки вплавь форсировали Западный Буг. В дальнейшем их использовали как обычные боевые машины.

Танки Pz.II 5-й и 11-й танковых дивизий принимали участие в боевых действиях в Югославии и Греции в апреле 1941 года. Два танка морем были доставлены на о. Крит, где они огнем и маневром поддерживали высадившихся 20 мая на этот греческий остров немецких парашютистов.

В марте 1941 года в 5-м танковом полку 5-й легкой дивизии германского Африканского корпуса, высадившейся в Триполи, имелось 45 Pz.II, главным образом модели «С». К ноябрю 1941 года, после прибытия 15-й танковой дивизии, число «двоек» на Африканском континенте достигло 70 единиц.

В начале 1942 года сюда доставили еще одну партию Pz.II Ausf.F(Tp) — в тропическом исполнении. Переброску этих машин в Африку можно объяснить, пожалуй, только их малыми массой и габаритами, по сравнению со средними танками. Немцы не могли не отдавать себе отчета в том, что против большинства танков 8-й английской армии «двойки» были бессильны, и лишь высокая скорость помогала им выходить из-под обстрела противника. Впрочем, несмотря ни на что, Pz.II Ausf.F использовались здесь вплоть до 1943 года.

По состоянию на 1 июня 1941 года в гитлеровской армии насчитывалось 1074 боеготовых танков Pz.II. Еще 45 машин находилось в ремонте. В соединениях, предназначенных для участия в операции «Барбаросса» и сосредоточенных у границы Советского Союза, имелось 746 машин этого типа, что составляло почти 21 % от общего числа танков. По тогдашнему штату один взвод в роте должен был иметь на вооружении танки Pz.II. Но это положение соблюдалось не всегда: в одних дивизиях «двоек» было много, иногда сверх штата, в других — не было совсем.

На 22 июня 1941 года Pz.II находились в составе 1-й (43 единицы), 3-й (58), 4-й (44), 6-й (47), 7-й (53), 8-й (49), 9-й (32), 10-й (45), 11-й (44), 12-й (33), 13-й (45), 14-й (45), 16-й (45), 17-й (44), 18-й (50), 19-й (35) и 20-й (31) танковых дивизий Вермахта. Кроме того, линейные «двойки» имелись и в составе 100-го и 101-го огнеметных танковых батальонов.

Pz.II без труда могли бороться с советскими легкими танками Т-37, Т-38 и Т-40, вооруженными пулеметами, а также с бронеавтомобилями всех типов. Легкие же танки Т-26 и БТ, особенно последних выпусков, поражались «двойками» лишь со сравнительно близких дистанций. При этом немецким машинам неизбежно приходилось входить в зону эффективного огня советских 45-мм танковых пушек. Уверенно пробивали броню Pz.II и советские противотанковые пушки. К концу 1941 года на Восточном фронте немецкая армия потеряла 424 танка Pz.II.

Тем не менее, в 1942 году некоторое количество машин этого типа еще сохранялось в составе боевых частей Вермахта и войск СС. Правда, в отдельных соединениях их наличие было чисто символическим. Так, накануне немецкого летнего наступления на Восточном фронте Pz.II еще состояли на вооружении 1-й (2 единицы), 2-й (22), 3-й (25), 4-й (13), 5-й (26), 8-й (1), 9-й (22), 11-й (15), 13-й (15), 14-й (14), 16-й (13), 17-й (17), 18-й (11), 19-й (6), 20-й (8), 22-й (28), 23-й (27) и 24-й (32) танковых дивизий Панцерваффе. Помимо этого, они находились в боевом составе 3-й (10), 16-й (10), 29-й (12) и 60-й (17) моторизованных дивизий, дивизии «Великая Германия» (12) и моторизованной дивизии СС «Викинг» (12). В течение 1942 года на всех театрах боевых действий германская армия потеряла 346 Pz.II.

В 1943 году «двойки», постепенно вытесняемые из боевых подразделений, все чаще привлекались для несения патрульной службы, охраны штабов, разведки и противопартизанских операций. Потери за год составили 84 единицы, что говорит о резком сокращении количества Pz.II в войсках. Тем не менее, на март 1945-го немцы еще располагали 15 такими танками в действующей армии и 130 — в армии резерва.

Башни Pz.II в значительных количествах использовались при создании различных долговременных огневых точек. На разного рода фортификационных сооружениях как на Западе, так и на Востоке находилось 100 башен Pz.II с 37-мм пушкой и 536 со штатной 20-мм KwK 30.

Кроме немецкой армии, «двойки» состояли на вооружении в Словакии, Румынии и Болгарии. В конце 1940-х годов несколько машин этого типа (по-видимому, бывших румынских) находилось в Ливане.

В настоящее время танки Panzer II, в основном машины модификации F, можно увидеть в нескольких музеях мира: на Абердинском полигоне (США), в Бовингтоне (Великобритания) и в подмосковной Кубинке. В военном музее в Белграде (Югославия) сохраняется машина модификации С.