С началом Великой Отечественной войны Тюленев был назначен командующим Южным фронтом, во главе его провёл оборонительную операцию в Молдавии. Под натиском противника фронт отступал. В тяжелых боях под Днепропетровском 29 августа 1941 года Тюленев получил тяжёлое ранение и до 13 октября находился на лечении в Центральном военном госпитале в Москве.
И. В. Сталин 14 августа: «Комфронта Тюленев оказался несостоятельным. Он не умеет наступать, но не умеет также отводить войска. Он потерял две армии таким способом, каким не теряют даже и полки. Предлагаю Вам выехать немедля к Тюленеву, разобраться лично в обстановке и доложить незамедлительно о плане обороны. *...** Мне кажется, что Тюленев деморализован и не способен руководить фронтом»[2].
Резервная армия
После излечения Тюленев был направлен в Уральский военный округ с задачей формирования в течение 2-х месяцев 14 стрелковых и 6 кавалерийских дивизий, а также обучения личного состава дивизий методам современной войны. В ноябре 1941 года часть дивизий была сформированы и составили собой основу Резервной армии, командующим которой был назначен Иван Тюленев. Полоса обороны армии проходила по линии Рыбинск, Углич, Переславль-Залесский, Шуя. Глубина обороны ограничивалась Ярославль, Кострома, Иваново. С наступлением Красной Армии дивизии, вошедшие в состав Резервной армии, были направлены в действующую армию.
Кавказ
В феврале 1942 года Иван Тюленев получил вначале назначение на должность заместителя главнокомандующего Юго-Западного направления, а через несколько дней он был назначен командующим Закавказским фронтом, штаб которого размещался в Тбилиси. По прибытии на место Тюленев занялся переформированием оборонительных рубежей. Учитывая, что прежде не учитывалась возможность вторжения из Турции, а также очевидная слабость рубежей реки Сулак, Тюленев настоял на создании рубежей обороны в районе реки Терек и Грозного. Была усилена оборона Главного Кавказского хребта. События лета 1942 года подтвердили верность решения командующего. 8 августа для оперативного управления войсками была образована Северная группа Закавказского фронта с управлением в Грозном.
С лета 1942 года началась битва за Кавказ. Бои шли на Кубани, в Новороссийске, на Главном Кавказском хребте. Противник рвался к нефтяным богатствам Закавказья. Егерям дивизии «Эдельвейс» удалось водрузить нацистский флаг на Эльбрусе. Однако оборона, выстроенная под руководством Тюленева, выстояла. Гитлеровским войскам не удалось выполнить главную задачу: прорваться к нефтяным месторождениям Махачкалы и Баку. В январе 1943 года Закавказский фронт начал наступление на Краснодар и Новороссийск. В ходе наступления удалось высадить десант в Мысхако и захватить плацдарм. После передачи Черноморской группы войск в состав Северо-Кавказского фронта, Закавказский фронт остался обеспечивать оборону южных рубежей СССР.
