在多隆阿的部隊對廬州發起攻擊的那些日子裏，在安徽東南一帶和浙江全省，都在發生激烈的戰爭。
浙江東部，清廷寧紹台道張景渠於5月初從定海招募海盜商船，率兵西渡，攻克鎮海，進軍寧波，與英法聯軍一起攻城，參戰民團超過十萬人，攻克寧波各縣，進軍餘姚。
浙江西部，楊輔清從威坪進攻遂安，正好寧國的太平軍被鮑超的部隊擊敗，也經昌化向遂安趕來。左宗棠打算攻打龍遊，便從常山率部北返開化，令劉典的部隊攻打常山西北方的華埠和開化北麵的馬金街，扼守馬金以北的汾口，崔大光也率部趕到。
楊輔清顯然回避與湘軍交手，於5月13日夜間率部北撤。當王文瑞和劉典率部追趕到淳安時，這支太平軍已取道昌化，進入安徽寧國。
浙江東南部的太平軍仍然很想攻占溫州，一支部隊從處州向東推進，另一支部隊從樂清南下，一起進擊溫州。秦如虎率部在溫州以西的瞿溪阻擊。太平軍從瞿溪攻擊郡城，聞處道支方廉負責守城，秦如虎部從城外將太平軍擊退。
太平軍稍事整頓之後，再次圍攻溫州。福建清軍將領張啟煊率部在桐嶺與太平軍交戰，被太平軍打敗，退守瑞安。慶端增調曾元福和曾玉明等人率部增援。
太平軍的主力都調到了溫州周邊，民團趁機進占縉雲、青田與樂清。
在安徽東部的長江之濱，湘軍水師於5月15日到達西梁山，燒斷攔江的鐵鏈。太平軍不戰而走。曾國荃分兵奪取各處陣地。他時而乘小船沿洄江而上，時而單騎馳往高處，了望地形。他認為金柱關是蕪湖的屏障，群湖都由這裏出口，便邀約彭玉麟率水師攻打。彭玉麟率領外江水師、內湖水師和淮揚水師十八營，大軍直駛金柱關。
5月18日，曾國荃率領十五營騎兵和步兵從西梁山渡到長江南岸。彭玉麟的水師已先到金柱關。曾國荃自己率領七千人趕到，趁太平軍沒有防備，突襲太平府，也就是現在所說的當塗。
太平軍沒有料到湘軍會突然殺到，來不及閉關，湘軍已攻入北門，進占太平城。然後，聯合水師連夜攻打金柱關，燒毀關內關外的廬舍。衡陽人王吉率部蛇行前進，襲破太平軍軍營。楊明海在作戰中負傷，裹傷再戰。
太平軍冒火奔逃，湘軍短兵攔截，太平軍屍累堤岸。
曾國荃又分派王明山的水師攻打烏江。令黃翼升的部隊攻打東梁山。
5月19日，湘軍攻占金柱關和東梁山，王吉和楊明海都因功以總兵記名。
湘軍繼續進軍，搗毀三汊河與上駟渡的幾十座太平軍壁壘，繳獲三百七十尊大炮以及數以萬計的旌旗刀矛。太平軍黃崇發部敗走。
曾國荃下令進軍蕪湖。彭玉麟調動上遊的所有水師，在裕溪口集結。
湘軍來到蕪湖城下，曾貞幹、黃翼升、陳湜和黃潤昌督促部隊登城。黃潤昌事先已經派人勸說守軍投降，太平軍自相驚擾，湘軍趁亂急攻，於5月20日攻占蕪湖。王明山的水師又攻克烈山石壘。於是沿江的各個關隘，都成為湘軍的壁壘。
此戰以後，清廷將黃翼升以提督記名。黃潤昌升為知府。
5月下旬，曾國荃揮師東進江蘇，進攻天京以南五十裏的秣陵關。駐防的太平軍獻關投降。曾國荃派曾貞幹所部繞到三汊河後方，逼近天京城西的大勝關，紮造木橋，在橋畔埋伏精兵，命令後隊偃旗息鼓，急速前進。
太平軍擔心湘軍形成大包圍，將他們困死，便趁夜放火，放棄壁壘撤退。
5月29日，曾國荃的部隊攻克大勝關和三汊河的太平軍壁壘。
彭玉麟的水師駐紮在金柱關，聽說曾國荃的部隊孤軍深入，擔心陸師為太平軍所敗，便命令彭楚漢、王吉、喻俊明、成發翔、王明山和謝濬佘等人的部隊，從烈山駛入江寧城西的頭關，攻擊太平軍陣地。
5月30日拂曉，曾國荃也到達前線，陸師趁勢發起攻擊，進占頭關。
在此之前，陸師前鋒已經進駐雨花台，正如彭玉麟所料，被太平軍包抄了後路，截斷了運輸線。湘軍通信梗塞，軍報不通，部隊人心惶惶。到這時，在水師幫助下破了頭關，又有水師護送糧食，從長江水路運來，陸師軍心才安定下來。