С началом Великой Отечественной войны корпус ускоренными темпами закончил формирование и был направлен в район Брянска. 8 июля 1941 года советским Генеральным штабом на основе опыта первых дней войны было принято решение о расформировании корпусного звена бронетанковых войск и переформировании имевшихся танковых дивизий по новым штатам. 15 июля 1941 года управление 27-го механизированного корпуса было расформировано. Генерал И. Е. Петров был назначен командиром 1-й кавалерийской дивизии.
20 августа 1941 года Петров стал командиром 25-й Чапаевской стрелковой дивизии, с которой принял участие в обороне Одессы. 5 октября 1941 года генерал-майор И. Е. Петров принял командование Приморской армией. Он руководил эвакуацией советских войск из Одессы на Крымский полуостров.
Генерал И. Е. Петров был одним из руководителей обороны Севастополя. В ноябре — декабре 1941 года войска под командованием Петрова и моряки Черноморского флота под командованием вице-адмирала Ф. С. Октябрьского отразили два наступления 11-й немецкой армии под командованием генерал-полковника Э. Манштейна. В дальнейшем до лета 1942 года советские войска в Севастопольском оборонительном районе под командованием И. Е. Петрова успешно сковывали крупные силы немецких войск. В июне-июле 1942 года блокированный[5] гарнизон Севастопольского оборонительного района 4 недели отражал новое наступление превосходящих сил немецких войск Э. Манштейна. После сдачи города И. Е. Петров, среди прочих руководителей обороны, был эвакуирован на подводной лодке. Тяжело переживая поражение, уже находясь на борту подлодки, Петров попытался застрелиться, но был удержан своими соратниками от этого поступка[6].
С августа 1942 года И. Е. Петров командовал войсками 44-й армии. С октября 1942 года - командующий Черноморской группой войск Закавказского фронта. На этих постах отличился в боях при обороне Кавказа, особенно значительную роль сыграл во время Туапсинской оборонительной операции. 14 октября 1942 года И. Е. Петрову присвоено воинское звание «генерал-лейтенант».
С марта 1943 года И. Е. Петров начальник штаба, а с мая - командующий Северо-Кавказским фронтом. Войска фронта под командованием И. Е. Петрова успешно участвовали в Новороссийско-Таманской операции, Новороссийской десантной операции, в боях при освобождении Таманского полуострова и городов Майкоп, Краснодар и Новороссийск.
27 августа 1943 года И. Е. Петрову присвоено звание генерал-полковник, а 9 октября 1943 — генерал армии.
Войска фронта в ноябре 1943 года форсировали Керченский пролив и заняли плацдармы на Керченском полуострове, проведя исключительно трудную Керченско-Эльтигенскую десантную операцию. 20 ноября 1943 года на основании директивы Ставки ВГК от 15 ноября 1943 года фронт преобразован в отдельную Приморскую армию.
Однако 3 марта 1944 года за неудачное проведение ряда частных наступательных операций (в том числе десант на мыс Тархан и десант в Керченский порт) Петров был освобожден от должности командующего Приморской армией, зачислен в резерв Ставки ВГК и снижен в звании до генерал-полковника.
С 13 марта 1944 года генерал-полковник Петров И. Е. командовал 33-й армией Западного фронта, с 12 апреля он командующий 2-м Белорусским, с 6 августа — 4-м Украинским фронтами. Отличился в боях при Восточно-Карпатской операции, войска его фронта освободили Закарпатскую Украину. 26 октября 1944 года Ивану Ефимовичу Петрову вновь присвоено воинское звание «генерал армии».
Однако из-за неудачного начала наступления войск фронта в Моравско-Остравской операции директивой Ставки Верховного Главнокомандования № 11041 от 17 марта 1945 года Петров был обвинен в неподготовленности наступления и в том, что не доложил о неготовности войск фронта в Ставку. В директиве было указано: «Ставка последний раз предупреждает генерала армии Петрова и указывает ему на его недочеты в руководстве войсками». А вскоре приказом Верховного Главнокомандующего СССР И. В. Сталина № 11045 от 25 марта 1945 года он был снят с должности командующего войсками фронтом с резкой формулировкой: «Генерала армии Петрова И. Е. снять с должности командующего войсками 4-го Украинского фронта за попытку обмануть Ставку насчет истинного положения войск фронта, не готовых полностью к наступлению в назначенный срок, в результате чего была сорвана намеченная на 10 марта операция. Генералу армии Петрову после сдачи войск фронта прибыть в распоряжение Ставки». [7]
В марте 1945 года И. Е. Петров был назначен начальником штаба 1-го Украинского фронта.
За умелое управление войсками в Берлинской и Пражской операциях, инициативу и самоотверженность 29 мая 1945 года генералу армии Ивану Ефимовичу Петрову было присвоено звание Героя Советского Союза.
