湘淮軍5月份加緊攻打常州。李鴻章命令部隊傍靠運河修築長牆，鋪設浮橋，務求必克。
李鴻章見老天降雨不斷，於5月9日向關帝爺禱告，但求天晴。第二天雨水時下時歇。李鴻章便令劉銘傳攻打北門，戈登的炮隊轟擊南門，由郭鬆林和楊鼎勳的部隊應援。又令劉士奇和王永勝的部隊攻打東南角，由張樹聲部應援。
5月11日，天氣完全放晴，南風大作。湘淮軍水師和陸師一齊開炮，炮聲如雷，煙火吞噬城頭，原來已被轟破的城牆又垮下幾十丈。太平軍用人來堵塞缺口，炸炮轟來，磚石四濺，器械紛飛，旗幟飄到天上。但是太平軍前仆後繼，堵缺的部隊剛剛倒下，另一批活生生的人又填補進來，陣線始終沒有後移。
李鴻章督促部隊登城，郭鬆林、王永勝和劉士奇登上城頭，白刃拚殺，持之以久，才把太平軍殺退。
湘淮軍衝入城內，捕獲陳坤書和費天將。劉銘傳和郭鬆林在城頭下令，凡是繳械者都可免一死。太平軍幾萬人下跪投降。湘淮軍傷亡一千多人，進占常州。
湘淮軍和常勝軍一起攻占常州以後，同治皇帝授予戈登以提督軍銜，英國人認為這是中國軍隊最高的軍階。英國軍方則將戈登晉升為中校，並將他封為勳爵。
羅榮光因炮擊常州有功，升任副將。後來，他成為中國第一批近代化的炮兵和水雷專家，成為清廷海防的中堅力量。
黃翼升正式出任江南水師提督。楊嶽斌正在江西指揮作戰，黃翼升又接管了外江水師。
馮子材率部於5月13日攻克丹陽。部將張文德斬殺太平軍將領陳時永，俘虜賴桂芳，清廷將他以提督記名。
鬆字營從宜興戰到丹陽，屢立戰功，郭鬆林升任福山鎮總兵。
太平軍從常州和丹陽撤出，很大一批從廣德奔向徽州，道路上日夜都有部隊行軍。曾國藩將楊嶽斌和鮑超的部隊調往安徽，囑咐李鴻章派兵接管他們的防區。李鴻章派劉銘傳部駐紮句容，派鄭國魁部駐紮東壩，派周盛波部駐紮溧陽的南渡和定埠。馮子材的鎮江軍凱旋撤走，由張樹聲部駐守鎮江。
李鴻章裁撤常勝軍三千人，戈登回國。保留炮隊的六百人，由羅榮光率領，移駐滸墅關。保留槍隊三百人，隨總兵李恒嵩駐紮昆山。
太平軍開到徽州，並沒有停留，隻是取道，南下江西。當時汪海洋等部據守貴溪、金溪和瀘溪，而廣昌的太平軍北攻南豐，與汪海洋等部南北呼應。李世賢部駐紮崇仁，占據崇仁東北方的東鄉，還占據了崇仁東南方的宜黃。
清廷對江西的局勢加深了憂慮，頻頻下詔垂詢曾國藩，要他從彭玉麟和楊嶽斌兩人中挑選一人鎮撫江西。
曾國藩的注意力擊中在太平天國的國都，對江西並不十分在意。他複奏說，太平軍多次往來於江西，隻要派兵攻擊，他們立刻就會敗逃。曾國藩比較擔心太平軍進入湖北，請清廷派彭玉麟的水師駐紮在九江上遊，控製湖北。
左宗棠在江西的問題上持有不同看法。他認為這個省份的安危，關係到東南大局。而且他特別看重楊嶽斌，認為此人足以擔任封疆大吏，而他的才幹還沒有得到充分的發揮。他專為這事上了一道密折，說湖州、常州和廣德的太平軍奔往江西，應該委任楊嶽斌去江西獨當一麵。他的提議，與清廷的意思正相吻合。
左宗棠的看法與清廷不謀而合，於是清廷采納了他的意見。5月28日，清廷頒下一道特詔，命令楊嶽斌指揮江西的軍事，兼任安徽南部的防守。詔書上還特地提到，曾國藩多次奏請大臣分任軍事，如今清廷找到了合適的人選。清廷已在巧妙地利用湘軍大帥在軍事和人事上的意見分歧，試圖削弱曾國藩的影響。
楊嶽斌和彭玉麟一直存在矛盾，盡管胡林翼一度從中調和，但兩人間的成見無法最終化解。原因主要在楊嶽斌一方。他隻是一介武夫，對於彭玉麟這個從軍的書生懷有妒意。楊嶽斌的官職先前高於彭玉麟。但是，在彭玉麟改任提督時，清廷賦予他統率文官的權力。楊嶽斌恨自己不是文官，言談中常常流露出悵惘。有事上奏，還得由曾國藩轉呈上去。
按照許多人的看法，楊嶽斌所立的戰功，遠遠超過了彭玉麟，可惜文武相隔，是無法彌補的遺憾。不過，文人們也有不拘一格的時候，交口稱讚楊嶽斌，佩服他的才能和品德。現在楊嶽斌終於滿足了心願，指揮軍隊專征，部屬們個個歡天喜地。
楊嶽斌非常感激左宗棠的保舉之恩。他聽說席寶田上報浙江太平軍逃入江西的精兵多達八九萬，而左宗棠先前奏報隻有幾千名太平軍從浙江逃出，認為席寶田的報告侵害了左宗棠，便對他心生怨恨。
曾國藩和沈葆楨根據席寶田的報告將情況上奏清廷，並且派人飛報湖南和廣東，提醒大家要防備太平軍精銳部隊。