С января 1943 года — командующий 56-й армией, которая в ходе ожесточённых боёв прорвала сильно укреплённую оборону противника и вышла на подступы к Краснодару, а в феврале-апреле в составе Северо-Кавказского фронта участвовала в Краснодарской наступательной операции.

В сентябре 1943 года войска 56-й армии во взаимодействии с 9-й армией и 18-й армией в ходе Новороссийско-Таманской наступательной операции освободили Таманский полуостров.

С октября 1943 года А. А. Гречко — заместитель командующего войсками Воронежского (с 20 октября — 1-го Украинского) фронта.

С декабря 1943 года — командующий 1-й гвардейской армией, которая участвовала в Житомирско-Бердичевской, Проскурово-Черновицкой, Львовско-Сандомирской, Западно-Карпатской, Моравска-Остравской и Пражской операциях.

После окончания войны до 1953 года А. А. Гречко командовал войсками Киевского военного округа. С 1953 года назначен главнокомандующим Группой советских войск в Германии; в этом качестве организует подавление июньского народного восстания 1953 г… В 1955 году ему присвоено высшее воинское звание "Маршал Советского Союза". С ноября 1957 года Маршал Советского Союза А. А. Гречко — первый заместитель министра обороны СССР, главнокомандующий Сухопутными войсками. C 1960 года — 1-й заместитель министра обороны СССР — главнокомандующий Объединёнными ВС государств — участников Варшавского Договора.

В 1967–1976 годах — министр обороны СССР. Член ЦК КПСС в 1961–1976 годах (кандидат с 1952), член Политбюро ЦК КПСС в 1973–1976 годах (первый министр обороны, включённый в Политбюро после 16-летнего перерыва с отставки Жукова).

Министр обороны СССР, Маршал Советского Союза А. А. Гречко умер 26 апреля 1976 года. Похоронен в Москве, на Красной площади у Кремлёвской стены.