Во время Второй мировой войны участвовал в Польской кампании 1939 года (командир 98-го горно-егерского полка), награждён планками к Железным крестам (повторное награждение). Участвовал во Французской кампании 1940 года. В Балканской кампании 1941 года командовал 6-й горной дивизией (генерал-майор), за прорыв греческой обороны («линии Метаксаса») 20 апреля 1941 года награждён Рыцарским крестом.
В 1942—1943 годах Шёрнер был командующим 19-м горным корпусом в Лапландии (генерал-лейтенант). С октября 1943 года командовал 40-м танковым корпусом на Украине (генерал горных войск). 17 февраля 1944 года награждён Дубовыми Листьями (№ 398) к Рыцарскому кресту.
С 7 апреля 1944 года был командующим группой армий «Юг» (генерал-полковник), с 25 июля 1944 года — командующим группой армий «Север».
К 1944 году Шернер пользовался особым доверием Гитлера.[1] 28 августа 1944 года награждён Мечами (№ 93) к Рыцарскому кресту с Дубовыми Листьями, а 1 января 1945 — награждён Бриллиантами (№ 23) к Рыцарскому кресту с Дубовыми Листьями и Мечами. С 16 января 1945 года Шёрнер назначен командующим группой армий «Центр». В конце войны, 5 апреля 1945 года, Гитлер присвоил Шёрнеру звание генерал-фельдмаршала.
После окружения Берлина, за несколько дней до его падения, исполняя приказ Гитлера, начал отвод войск в район Праги с намерением превратить город во «второй Берлин». 7 мая, после того, как войска ГА «Центр» были почти окружены к востоку от Праги, отдал приказ отступать на запад. 15 мая 1945 года взят в плен американскими войсками и в конце мая 1945 передан советскому командованию.
