1933年11月任伏尔加沿岸军区61步兵师师长。

1935年11月26日被授予旅级指挥员军衔。

1936年9月任第8独立机械化旅旅长。

1937年夏任基辅军区45机械化军军长。

1937年12月31日被授予军级政委军衔。

1938年1月8日改授军级指挥员军衔。

1938年1月任白俄罗斯军区军事委员。

1938年11月任基辅特别军区文尼察集团军群司令。

1939年9月任基辅特别军区第6集团军司令，率部进军西乌克兰（波兰东部）。

1940年6月4日被授予中将军衔。

1940年7月任红军副总参谋长兼侦察局局长，任内他迎合斯大林的看法，对理查德·佐尔格等侦察员关于德国攻苏的报警情报作了不实事求是的批语，然后上报。在情报上送斯大林时，他写的批语是：这可能是英国人散布的的假情报，是英、美的离间计等等。

伟大卫国战争初期，他因情报失误而撤职，改行率领苏联军事代表团去英国和美国进行关于向苏联提供军用物资的谈判。

1941年10月起任第10集团军司令。1941年底-1942年初冬季莫斯科反攻开始时，第10集团军在西方面军左翼投入战斗，在激战中把海因茨·威廉·古德里安的坦克第二集群撵的败退了约400公里，解放了10座城市，对粉碎莫斯科方向的德国法西斯军队起了重要作用。是在反攻期间表现最好的三个集团军司令之一。

1942年2月任突击第4集团军司令。1942年4月任布良斯克方面军司令，7月任沃罗涅日方面军司令。在南线哈尔科夫惨败后率该部顽强奋战，冲出了包围，使德军围歼该部的图谋未能得逞。

1942年8月-10月任近卫第1集团军司令和东南方面军（9月28日改为斯大林格勒方面军）副司令。

1942年10月任西南方面军司令，很快复任红军副总长兼侦察局长，同月又改任沃罗涅日方面军司令，他的政治搭档是费奥多尔·费多托维奇·库兹涅佐夫中将。1942年12月在斯大林格勒会战反攻阶段的奥斯特罗戈日斯克—罗索什战役行动，在半个月内，戈率军在斯大林格勒西北地区干净利落的围歼了匈牙利第2集团军、德军坦克第24军和意大利阿尔卑斯步兵军的15个师，生俘86000人，突入敌后140公里，并于1943年1—2月与布良斯克方面军协同作战，进行了沃罗涅日—卡斯托尔诺耶战役，粉碎了顿河上游的德国第二集团军7个师和匈牙利第3军的两个师。在中部战线撕开了一条400公里宽的战略缺口。在这次冬春反攻中，他的方面军是战功最大，突击最深远的，名震世界，并作为苏联红军最能干的将领登上了美国时代周刊的封面。

1943年4月因南线的尼古拉·费多罗维奇·瓦图京强行突击被曼斯坦因打的大败（哈尔科夫反击战役），他的侧翼暴露，又不准撤退，受到德国南方集团军群的全力攻击，好不容易在援兵的支持下在库尔斯克地区稳定住阵地。结果瓦图京因总参谋部的包庇没事而他却失去了上前线的权利。调回后方任苏联副国防人民委员（主管干部工作）。为此事他和大本营代表朱可夫结下了深深的矛盾。

1943年5月起任总干部部长，1944年10月起兼任苏联人民委员会遣返苏联公民事务特派员。

1946年1月，斯大林召开会议批判朱可夫的时候，他是所有将军中最卖力的一个，指责朱可夫是典型的波拿巴分子，无视党的领导和全军指战员的奋斗，妄图把一切功劳都说成自己的，一切失误都是别人的。若不是另一个政委出身的统帅科涅夫力保朱可夫绝无反心，朱可夫的结果还不知道怎么样呢。

1950-1956年任独立机械化集团军司令。

1956-1958年任装甲兵学院(今马利诺夫斯基装甲兵学院)院长。

1958-1962年任苏联陆海军总政治部主任，军衔晋升为苏联元帅，在赫鲁晓夫时期的军事领导人中占重要地位。

1960-1961年任中央检查委员会委员，苏共中央委员。

1962年5月任苏联国防部总监组总监。

苏联第一届和第四至六届最高苏维埃代表。

卒于1980年7月29日，葬在新圣母公墓。

荣获列宁勋章4枚，十月革命勋章1枚，红旗勋章4枚，一级苏沃洛夫勋章1枚，一级库图佐夫勋章1枚，红星勋章2枚，三级“在苏联武装力量中为祖国服务”勋章1枚，奖章及外国勋章多枚，获荣誉武器1件。

《红鹰（1918—1920年日记摘录）》，莫斯科1959年版；《在莫斯科会战中——一位指挥员的札记》，莫斯科1907年版；《进攻中的第10集闭军》，载《莫斯科会战》一书，莫斯科1968年第2版。