Шмундту была суждена преждевременная гибель. Он стоял рядом с Гитлером, когда 20 июля 1944 года сработала бомба, заложенная полковником Клаусом фон Штауффенбергом. Взрыв не поразил намеченную цель, но Шмундт получил смертельные ранения и умер два месяца спустя. По указанию Гитлера его похоронили на Инвалидендом – «кладбище героев» в Берлине.
