1854年6月，曾国藩一边在长沙整顿湘军，一边兵分三路，开始反击太平军西征军。

西路由胡林翼、周凤山率领，反攻常德。

中路为主攻方向，由塔齐布率领，反攻岳州。

东路由江忠淑率领，自湖南平江反攻湖北崇阳、通城。江忠淑即是江忠源的弟弟。

太平军西征军前敌统帅曾天养见湘军主攻岳州，立即随机应变，自常德东撤岳州，全力保卫岳州。

岳州地处洞庭湖东北岸，是湘北门户。岳州一失，太平军将被湘军逐出湖南。曾天养将主力集中在岳州布防，全力防备湘军北上。

7月7日，湘军水师两千人自长沙起程，罗泽南亦率领两千陆师，北上支援岳州的塔齐布。

23日，两军水师交战。太平军战败，曾天养弃守岳州，退保城陵矶。城陵矶地处洞庭湖与长江交汇处，地势极为险要，易守难攻，是太平军在湖南的最后一个立脚点。

27日，曾天养率军反攻岳州，失利。

29日，韦俊、石镇仑、陈玉成等自湖北武昌来援，会同曾天养反攻岳州，不胜。

陈玉成便是陈丕成，则在武昌之战中率先攀上城头，立下大功，被洪秀全赐名为陈玉成。大约在同一时期，李寿成也被洪秀全赐名李秀成。

8月8日，曾国藩亲率湘军水师五千人、陆师两千人自长沙启程，进援岳州。

9日，曾天养以屡败之师，在象骨港大败湘军水师，斩广东水师大将陈辉龙、湘军水师大将禇汝航。

此役是曾天养军事指挥的得意之笔，其个人声望也达到最高锋。

象骨港大胜后，曾天养大受鼓舞，于8月11日自城陵矶前出，舍舟登岸。

湘军大将塔齐布率陆师抵近城陵矶逼战。一看到塔齐布，曾天养便想起林绍璋的两万败军，不禁怒从心起，单骑挑战塔齐布。

曾天养时年六十四岁，勇悍过于塔齐布。甫一交手，曾天养便持矛刺伤塔齐布坐马。塔齐布慌不择路，落荒而逃。

然而，不巧的是，曾天养气力不足，也掉落马下。清军一拥而上，将曾天养乱刀砍死。他是太平军主帅，却轻易前出挑战，逞匹夫之勇，身死军败。

曾天养在江湖中很有威望，军中有大量天地会武装。他们见曾天养战死，纷纷不辞而别，西征军实力大损。

武昌方面的太平军派出一万九千余援军，试图与湘军继续争夺湘北，屡败，最终退出城陵矶，撤往武昌。