黃翼升的淮揚水師在協助曾國荃的陸師進逼天京以後,於6月8日越過太平軍的軍營,奔赴上海。曾國藩上奏,請清廷任命黃翼升代理江南提督。五千多裏長江,全由湘軍的外江水師和內湖水師分別守衛。孫昌國等人的水師長期駐紮在江西,仍然隸屬於彭玉麟。
天京城內,天王洪秀全見湘軍已兵臨城下,連連派出信使,催促李秀成率部從蘇州和常州前來增援。他自己挑選兩萬名精銳出城攻打雨花台。湘軍是戰勝之師,鋒芒銳利,交戰時無不一以當十。太平軍遭到重創,大為驚駭,連忙收兵入城。
江北的清軍大將都興阿聽說湘軍殺到了天京,連忙派出水師船隻,從瓜洲溯江西上,攻打觀音門,襲擊天京以北的燕子磯,兩戰獲勝。
降將李世忠聽說湘軍到了天京城下,也率部從六合南下渡江,攻占石埠橋、東陽和龍潭,修築壁壘,加以防守,並擊退了前來爭奪陣地的太平軍。
清軍的這些部隊,都是為孤軍深入的湘軍聲援,取得了一定的效果。
曾國荃的部隊從6月18日起開始攻打六郎橋。天京城內的太平軍每天派兵出城窺探戰況,都被湘軍所創。洪秀全覺得形勢緊迫,催促浙江的李世賢所部和蘇州的李秀成所部回援天京。
李秀成的部隊,由於李鴻章的湘淮軍剛剛攻克鬆江廳縣,正在趕去增援,無法火速增援天京,便先派他的國宗率領幾萬兵力從蘇州西援。
李世賢的部隊正在遂安和龍遊一線與左宗棠的湘軍對抗。左宗棠率部東進衢州,在城北攻擊李世賢的部隊,獲得大勝。衢州東南的太平軍都棄壘撤走。
李世賢便率部從龍遊北攻遂安。左宗棠分兵將其擊退。總兵劉培元增募新軍三千二百人,知府魏喻義增募兩千人,全部在衢州集結,隻有蔣益澧的部隊還沒開到。
浙江東南部的太平軍也受到清軍壓製。6月19日,張啟煊把攻擊溫州的太平軍逼到瑞安以南的平陽,將其殲滅,然後北上,聯合白瑛和秦如虎的部隊進攻處州。
在浙江南部,太平軍又返回景寧與雲和,福建清軍擔心太平軍進入福建,駐紮在龍泉阻擊。湯溪的太平軍南下增援鬆陽,瑞安的太平軍攻擊平陽,泰順與雲和兩地的民團攻克了縣城。
左宗棠上奏說,他原來打算用衢州和江山兩地的兵力堵擊太平軍,自己率部從壽昌和淳安直搗嚴州,以奪取省會。近來偵察到駐防杭州的太平軍兵力不多,太平軍以重兵防守金華,所以應該集結兵力,首先逐步攻擊龍遊、壽昌、蘭溪和湯溪等地,撤除金華的藩籬,搗毀太平軍的巢穴,然後分兵前往嚴州和處州,將太平軍壓縮在一隅,取得破竹之勢。從形勢來看,似乎應該先攻金華,後攻嚴州。現在就馬上進取龍遊和壽昌,節節搜攻,對於大局應該有尺寸之補。
在浙江北部,湖州守軍自4月份以來,隻能靠捕雀掘鼠來充饑,草根樹皮都吃幹淨了。趙景賢照樣談笑自若。當他發現縣丞與太平軍暗通款曲,便將他逮捕斬首。部隊搜掠百姓,仍按軍法處置。
太平軍自進攻浙江以來,攻占了大部分郡縣,卻始終啃不下湖州這塊硬骨頭。趙景賢率民團死守孤城,浴血奮戰已有兩年,至此再也無力回天。
5月30日,太平軍攻占湖州,殺死知府瑞春。趙景賢喊道:“我怕死而無憾,惟恐十幾萬軍民丟掉性命!”
太平天國慕王譚紹洸領兵衝進官衙,趙景賢戴上官帽上堂,喝道:“快殺我!不要殺害軍民!”
譚紹洸說:“我們也不殺你。”
趙景賢拔刀自刎,刀被太平軍奪去。仆從陸二自刎而死。
太平軍將趙景賢押到蘇州,李秀成對他敬為上賓,百計勸降,趙景賢不為所動,大罵李秀成,隻求一死,但求死不得。李秀成有意將他放走,譚紹洸不同意。李秀成赴江北時,叮囑譚紹洸不要殺趙景賢,譚紹洸改善了這名死硬囚徒的待遇。但趙景賢並不領情,仍然怒罵不止。
一天,譚紹洸拿著一份常熟地圖,找趙景賢請教,趙景賢將地圖扔到火中。
同治二年4月,太平軍部隊從太倉敗歸蘇州,揚言趙景賢要內應襲擊蘇州。譚紹洸十分擔心,於5月5日下午,召趙景賢飲酒,中途詰問道:“你私通清妖的部隊?”
趙景賢答道:“我本是官軍將領,何謂私通?”
譚紹洸又問:“你打算內應獻出蘇州?”
趙景賢回答:“蘇州本是朝廷土地,何謂獻出?”
譚紹洸怒道:“你死期到了!”
趙景賢仰天大笑,說:“求之一年而不得,今天能得一死,真是幸運!”說罷連飲幾大杯,大罵不止。
譚紹洸用洋槍對準他的胸口,將他擊斃。趙景賢死年四十二歲。太平軍用棺材將他埋葬。
清廷下詔,對趙景賢按照巡撫規格賜予撫恤。
趙景賢早已將家人疏散到湖南。他兒子趙深秀聽說父親去世,深為悲慟,服毒而死。湖南巡撫為他奏請旌恤。