Удостоенный похвалы критиков и читателей за достоверное описание эмоциональной разобщенности и психологической нестабильности солдат во время «тысячелетней» войны в будущем первый роман Джо Холдемана «Бесконечная война», опубликованный в 1974 году, завоевал премии «Хьюго» и «Небьюла» и позже был переработан в трехтомный графический роман-сериал. После своей первой публикации Холдеман возвращался к теме войны в будущем несколько раз. Особенно известны его трилогия «Миры обетованные», «Миры запредельные» и «Миры неукротимые» о Земле, столкнувшейся с ядерной войной, и роман «Бесконечный мир» — дальнейшие исследования потенциала дегуманизации, заложенного в вооруженном конфликте. Среди других произведений Холдемана стоит отметить «Мост разумов», «Запомни все грехи мои» и роман «Мистификация Хемингуэя» — расширенную версию повести с тем же названием, получившей премию «Небьюла».
В сборниках «Бескрайние мечты» и «Разобраться с будущим» опубликованы фантастические рассказы Холдемана. Его эссе вперемешку с рассказами помещены в сборнике «Вьетнам и другие чужие миры». Его берущая за живое документальная проза, такая как «Год войны», основана на опыте, полученном писателем за время прохождения им службы во Вьетнаме, а «1968» описывает Америку в эпоху вьетнамской войны. Холдеман также является соредактором антологий «Доспехи-2000», «Космические воины» и «Супертанки».