В начале войны командовал 4-й армией, за 3 дня перерезал Польский коридор. За Польскую кампанию награждён планками к Железным крестам (повторное награждение) и Рыцарским крестом (№ 1). В октябре 1939 года произведён в генерал-полковники.
Франция
Во время Французской кампании 4-я армия действовала на правом фланге группы армий «А». После Французской кампании, в июле 1940 года, Клюге получил звание генерал-фельдмаршала.
СССР
Во время вторжения в СССР 4-я армия в составе группы армий «Центр» наступала западнее и северо-западнее Бреста[1]. 26 июня Гитлер, вопреки мнению командующего группой «Центр» фон Бока приказал Клюге передать командование пехотными дивизиями штабу 2-й армии, а самому возглавить действия 2-й и 3-й танковых групп, что привело к трениям с командующим этими группами Гудерианом и Готом. Оба танковых командира полагали, что фон Клюге распоряжался танковыми силами неумело, что позволило некоторой части советских войск избежать окружения во время битвы за Смоленск[2]. Командующий 2-й танковой группой Гудериан часто игнорировал приказы Клюге, что привело к значительным личным трениям, вплоть до того, что эти два военачальника собирались драться на дуэли[3][4]. В начале августа Клюге вновь перевели командующим пехотным корпусом[3].
В сентябре Клюге выступал против начала наступления на Москву, понимая, что войска не готовы к зимней кампании. Во время самого наступления продвигался вперед столь медленно и неохотно, что вызвал нарекания командующего 4-й танковой группой Э. Гёпнера, на которого легла основная тяжесть наступления[5].
После начала советского наступления под Москвой Гитлер отстранил фон Бока от командования группой армий «Центр» и назначил на его место Клюге (18 декабря 1941). Став командующим, Клюге в ультимативной форме потребовал отстранения от командования Гудериана, мотивируя свое требование тем, что во время советского наступления последний без колебаний оставлял неудобные позиции, в то время, как пехота Клюге держалась до последнего. Гитлер стал на сторону Клюге, и один из лучших танковых командиров Германии был навсегда отстранен от участия в боевых действиях[3].
В 1942 основные события на Восточном фронте происходили на юге, войска же группы армий «Центр» вели лишь бои местного значения. Наибольшими удачами Клюге в этот период был разгром кавалерийского корпуса генерала Белова (20 тыс. человек) под Кировом и 39-й армии (40 тыс. человек) у Белого. Он также отбил крупномасштабные попытки советского наступления под Ржевом и Белевом (см. Вторая Ржевско-Сычёвская операция). Зимой 1942—1943 года в целом успешно противостоял ожесточенным попыткам советских войск прорвать его оборону и потерял лишь Великие Луки (см. Малоархангельская операция, Севская операция, Жиздринская операция, Великолукская операция). 18 января 1943 года награждён Дубовыми Листьями к Рыцарскому кресту.
В штабе группы армий «Центр» действовала группа заговорщиков во главе с генералом Хеннингом фон Тресковым, однако сам Клюге активного участия в заговоре не принимал. Тем не менее, он выступал против бесчеловечного отношения с советскими военнопленными[источник не указан 251 день].
Клюге был противником проведения операции «Цитадель» на Курской дуге: в результате командование в ней было передано Моделю, и после её провала в июле 1943 года Клюге избежал нареканий. 15 июля 1943 советские войска прорвали фронт Клюге у Орла и заставили его начать отступление к Днепру. В конце августа — начале сентября войска советского Центрального фронта под командованием К. К. Рокоссовского нанесли тяжелое поражение войскам Клюге в ходе Черниговско-Припятской операции.
12 октября 1943 Клюге попал в автомобильную катастрофу на шоссе Орша — Минск, получил тяжелые травмы и был отправлен для лечения в Германию.
29 октября 1943 года награждён Мечами (№ 40) к Рыцарскому кресту с Дубовыми Листьями. По состоянию здоровья заменен на посту командующего группой армий генерал-фельдмаршалом Э. Бушем и переведен в резерв.
Западный фронт
2 июля 1944 года сменил генерал-фельдмаршала Г. фон Рундштедта на посту командующего Западным фронтом (командующего группы армий «Д»).
В 1944 году, проведя инспекцию войск, Клюге пришёл к выводу о невозможности противостоять будущему наступлению союзников и вступил в контакт с группой заговорщиков, планировавших убийство Гитлера. После провала Июльского заговора 1944 года послал Гитлеру верноподданническое послание.
24 июля 1944 года союзники приступили к проведению операции «Кобра». Клюге доложил Гитлеру, что единственное правильный выход он видит в отводе войск за Сену, но фюрер не хотел и слышать об этом. Он приказал фельдмаршалу собрать все имевшиеся в Нормандии силы и сбросить противника в Ла-Манш. Клюге понимал, что этот приказ приведет 7-ю армию к окружению, и предлагал вывести значительное количество войск и техники. Но даже после того, как кольцо окружения сомкнулось в районе Фалеза, одна танковая дивизия смогла пробить дорогу, по которой в течение шести часов немецкие войска выходили из окружения.
Самоубийство
18 августа Гитлер снял Клюге с должности и приказал ему немедленно вернуться в Германию. Фельдмаршал сдал дела Вальтеру Моделю и выехал, предварительно отправив фюреру письмо, в котором объяснял причины своих неудач и в последний раз попытался открыть глаза Гитлеру на происходящее.
Тем временем, после ареста заговорщиков подполковник Ц. фон Хофаккер выдал Клюге. Снятие с командования 18 августа было вызвано и этим обстоятельством. По дороге в Мец Ханс Гюнтер фон Клюге покончил жизнь самоубийством, отравившись цианистым калием.
После войны гроб с телом фон Клюге был выкраден из семейного склепа. До сих пор местонахождение тела неизвестно.