Подобно тому, как главный тренер сборной ФРГ Хельмут Шён сменил на этом посту Йозефа Гербергера, у которого долго был ассистентом, Йозеф Дерваль сменил самого Хельмута Шёна. Подобно тому как у Йозефа Гербергера было ласково-уменьшительное прозвище — Зепп, было оно и у Йозефа Дерваля, только другое — Юпп. И точно так же, как оба его предшественника, Юпп Дерваль одерживал со сборной ФРГ победы, правда, титул чемпиона мира ему все-таки не дался.

Большая часть футбольной карьеры Юппа Дерваля прошла в немецких клубах «Алемания» из Ахена и «Фортуна» из Дюссельдорфа, выступавших во второй Бундеслиге, а завершал он ее в швейцарских клубах «Билль» и «Шаффхаузен». В них же начал тренерскую карьеру, выступая в качестве играющего тренера. Затем вернулся в «Фортуну», став уже главным тренером. Но вскоре Хельмут Шён пригласил Дерваля работать в сборной страны и, наконец, в 1978 году передал своему помощнику пост главного тренера.

За спиной Шёна остались победы на чемпионате Европы 1972 года и чемпионате мира 1974 года. Вместе с тем на чемпионате Европы 1976 года сборная ФРГ уступила в финале сборной Чехословакии, пусть и по пенальти. Юппу Дервалю пришлось заняться серьезным обновлением состава. Как бы то ни было, на чемпионат Европы 1980 года, первый турнир нового главного тренера, сборная ФРГ, как обычно, приехала в качестве фаворита.

Лидером немецкой команды был 25-летний КарлХайнц Руменниге, рядом с которым играли техничный и быстрый Клаус Аллоффс, мощный и высокий форвард Хорст Хрубеш, непробиваемый крайний защитник Ханс Петер Бригель, тонко чувствующий игру полузащитник Бернд Шустер. На том чемпионате Европы победители двух групп сразу выходили в финал, и команда Юппа Дерваля начала групповой турнир с победы на сборной Чехословакии — 1:0, взяв, таким образом, реванш за поражение в финальном матче прошлого чемпионата Европы. Второй матч сборная ФРГ выиграла у сборной Голландии — 3:2. Последний же матч со сборной Греции уже ничего не решал, и немецкие футболисты, сберегая силы к финалу, завершили его вничью — 0:0.

Финальный матч против сборной Бельгии был сыгран 22 июня 1980 года на римском стадионе «Олимпико». Вопреки ожиданиям, сборная Бельгии, где были свои выдающиеся футболисты — нападающий Ян Кулеманс, защитник Эрик Геретс и вратарь Жан-Мари Пфафф, вовсе не стала для сборной ФРГ легкой добычей, хотя и особых проблем не доставила. Матч получился красивым, корректным, быстрым, вполне достойным финала чемпионата Европы.

Довольно быстро, уже на 10й минуте, немецкие футболисты открыли счет — это сделал Хорст Хрубеш. Первый тайм так и закончился со счетом 1:0. Во втором тайме характер игры не изменился: больше атаковали немцы, а бельгийцы дожидались своего шанса. И он наконец представился: бельгийский нападающий ван дер Эльст, опередив всех, врывался в штрафную площадку, и был сбит подножкой. Судья показал на 11-метровую отметку, и на 72-й минуте счет сравнялся.

Остаток второго тайма непрерывно атаковала сборная ФРГ, создавая один острый момент за другим. Между тем минуты второго тайма таяли, похоже было, что все идет к дополнительному времени. И все же немцы за 2 минуты до конца вырвали победу, в который уже раз показав свой железный «тевтонский» характер. С левого края подавался угловой, и гигант Хорст Хрубеш, выпрыгнув выше всех в гуще защитников, головой послал мяч в ворота. Сборная ФРГ во второй раз стала чемпионом Европы, а Юпп Дерваль одержал свою первую тренерскую победу.

Она, однако, так и осталась, хоть и очень весомой, но единственной. На чемпионате мира 1982 года Дерваль, правда, вывел свою команду в финал, но сборная Италии с разыгравшимся под конец чемпионата Паоло Росси была неудержима. Правда, до второго тайма держался ничейный счет — 0:0, и все-таки на 57й минуте, после быстро разыгранной красивой комбинации, Паоло Росси открыл счет. Замена, которую сделал Дерваль вскоре после пропущенного гола — вместо Вольфганга Дреммлера вышел мощный Хорст Хрубеш, герой чемпионата Европы 1980 года, — не помогла. На 69й минуте полузащитник Марко Тарделли великолепным ударом забил второй гол.

Играть оставалось больше двадцати минут, и теоретически спасти игру при разнице в два мяча немцы еще могли бы. Но к этому времени окончательно изнемог Карл-Хайнц Румменниге, игравший с незалеченной травмой. Вскоре он покинул поле. На 81й минуте Алессандро Альтобелли довел счет до разгрома –3:0. Команде Юппа Дерваля удалось лишь забить гол престижа — это сделал ветеран сборной ФРГ Пауль Брайтнер, номинальный защитник, играющий, тем не менее, по всему полю. Чемпионом мира стала сборная Италии.

А чемпионат Европы 1984 года оказался для сборной ФРГ и вовсе неудачным. Команда заняла в группе третье место, выиграв лишь один матч у сборной Румынии. После этого Юпп Дерваль подал в отставку, уступив свой пост Францу Беккенбауэру.

Но у Дерваля кроме чемпионата Европы 1980 года были и другие победы. Оставив сборную ФРГ, с 1984 по 1988 год он возглавлял турецкий клуб «Галатасарай» и за это время дважды выиграл титул чемпиона страны и один раз — Кубок Турции.