Во время Великой Отечественной войны входил в состав Ставки Верховного Главнокомандования, участвовал в обороне Москвы, командовал группой войск армий резерва Ставки (июнь 1941 года), затем — главком войск Юго-Западного направления (10 июля — сентябрь 1941 года), командующий Резервным фронтом (сентябрь — октябрь 1941 года), главком войск Северо-Кавказского направления (апрель — май 1942 года), командующий Северо-Кавказским фронтом (май — август 1942 года).
По рекомендации Будённого[9] советское командование летом 1941 приступило к формированию новых кавалерийских дивизий, к концу года было дополнительно развёрнуто свыше 80 кавалерийских дивизий лёгкого типа (по другим сведениям, это было сделано по инициативе Г. Жукова[10]). В июле-сентябре 1941 года Будённый был главнокомандующим войск Юго-Западного направления (Юго-Западный и Южный фронты), стоящих на пути немецкого вторжения на территорию Украины.
В августе по приказу маршала Будённого в Запорожье саперами 157-го полка НКВД был взорван Днепрогэс. В потоках хлынувшей волны погибли солдаты как немецкой, так и советской армий. Кроме войск и беженцев, в плавнях и береговой зоне погибло множество работавших там людей, местное гражданское население, сотни тысяч голов скота. Лавина воды стремительно залила огромные пространства Днепровской поймы. За один час была снесена вся нижняя часть Запорожья с огромными запасами промышленного оборудования[11][12]. В сентябре Будённый отправил телеграмму в Ставку с предложением отвести войска из-под угрозы окружения, за что был отстранен от должности главнокомандующего Юго-Западным направлением Сталиным и заменён С. К. Тимошенко.
Затем — командующий Резервным фронтом (сентябрь-октябрь 1941 г.), главком Северо-Кавказского направления (апрель — май 1942 г.), командующий Северо-Кавказским фронтом (май — август, 1942 г.). С января 1943 года — главнокомандующий кавалерией Советской Армии, а в 1947—1953 годах одновременно — заместитель министра сельского хозяйства СССР по коневодству.
