在浙江作戰的福建清軍將領林文察，於3月2日率部攻克了金華東南方的武義和永康。在金華東北麵，東陽和義烏的太平軍感到了威脅，都從城內撤走。
劉璈與黃少春於3月7日率部攻占義烏西北方的浦江。左宗棠命令蔣益澧從義烏出兵，劉典從浦江出兵，聯合北攻諸暨。各地民團紛紛響應。諸暨的太平軍知道敗不可免，無心再戰，向湘軍投降。黃少春的部隊於3月12日進占諸暨。
湘軍從南向北朝杭州推進，寧波清軍則從東向西逼近杭州。他們攻破紹興城外的太平軍軍營。城內百姓與清軍約定內應。
3月16日夜晚，紹興城內的百姓舉火為號，火光一起，清軍便開始攻城，太平軍開門撤走。
3月17日，寧波清軍進占紹興。
法國兵參與了對紹興的進攻。他們的炮隊統帶莫德裏在戰鬥中被太平軍擊斃。法方司令官命令德克碑接任統帶。德克碑要在浙江增募一千兵力，左宗棠不予批準。德克碑又要紹興士民拿出巨資犒勞部隊。左宗棠幹脆知會法國公使，要他另派統帶，取代德克碑。
德克碑見左宗棠既不許他招兵，又不許他要錢，便跑到嚴州大營鬧事。左宗棠礙於外交禮節，請他入帳相見。德克碑挺胸昂頭，要與左宗棠行脫帽握手禮。左宗棠對他說：“巡撫是朝廷的二品大員，你現在是中國軍官，應該按中國的禮節覲見。”接著，左宗棠告訴他，他向百姓強要犒賞，有損法國的尊嚴。德克碑理屈，聽憑左宗棠教訓了一通。
德克碑承認做了錯事，表示願為巡撫大人效力。左宗棠怕他過後不認賬，令他寫下保證書，一式二份，存檔備查。
第二天，德克碑再次入營求見，改穿了中國衣冠，將連鬢胡須也剃掉了。左宗棠反而上前，與他行了脫帽握手禮。左宗棠命他率部扼守蕭山，戰後將按章支放銀餉，予以裁撤。
3月18日，湘軍又有進展，魏喻義和楊政謨率部攻占諸暨以西的桐廬。在湘軍和寧波清軍的逼迫下，杭州近邊的太平軍大為震動，新城和蕭山的太平軍棄城撤走。
寧波清軍穩步跟進，於3月20日進占蕭山。
杭州周邊的軍事態勢，對湘軍大為有利。劉典的部隊追趕太平軍到達富陽城外，屏蔽了杭州的西南方。蔣益澧的部隊從臨浦、和義橋和蕭山向前推進，屏蔽了杭州以南。湘軍距離杭州隻有幾十裏的路程了。
左宗棠算定杭州城的太平軍已孤立無援，難於防守，擔心太平軍奔向江西和安徽南部，襲擊腹地。他派劉典率領五千人去防守徽州，鞏固皖南的防禦。左宗棠擔心劉典籌措軍餉有困難，便交給他一些空白的文件，讓他方便使用。
左宗棠又把在湖南新募的勇丁留在廣信扼守江西東部邊界，派劉培元率部前往三省交界處的馬金，與王德榜部會師，聽候調遣。
左宗棠留下攻打杭州的主力，是蔣益澧的部隊。蔣益澧率領一萬兵力攻打富陽，企圖力拔杭州西南的太平軍據點。
富陽北靠山巒，南對富春江，西接七裏瀧，東靠錢塘江，是一個易守難攻的據點。湘軍攻占桐廬以後，防守杭州的太平軍非常緊張，調動全部兵力到富陽阻擊湘軍北進。
3月24日，湘軍水師將領楊政謨率部從桐廬向富春江下遊攻擊，燒毀太平軍的幾百艘戰船。魏喻義率陸師隨後北進，與蔣益澧部會師富陽。水師駐紮在南岸，陸師駐紮新橋，占據田壟，與太平軍隔江對峙。
太平軍不想讓湘軍紮穩腳跟，於4月11日出動主力反攻，熊建益率部迎戰，馳馬陷陣。太平軍中了埋伏，下令撤退。高連升率部跟蹤，被太平軍抄了後路，大步退卻。張誌功和王宗元躍馬馳援，王宗元中槍身亡，張誌功多處受傷。高連升部苦戰許久，方才脫身收兵。
湘軍在富陽城下沒有進展，在安徽南部卻有收獲。王文瑞的部隊在祁門打敗太平軍，劉典的部隊會同江西的湘軍攻克了黟縣。
左宗棠分兵前往江西和安徽時，沒料到杭州的太平軍還會得到有力的增援。4月中下旬，陳炳文率領蘇州和常州的太平軍，鄧光明率領杭州與嘉興的太平軍，出兵臨安，攻打新城，企圖抄襲富陽湘軍的後路。魏喻義從新城領兵迎戰，被太平軍擊敗。太平軍包圍了新城。左宗棠連忙從嚴州派兵，會同蔣益澧部前往增援。
5月中旬，蔣益澧率領高連升部駐紮新城以南，熊建益率部返回新橋駐守。太平軍趁著湘軍調防的間隙攻擊新橋，熊建益部及時趕到，將太平軍擊退，一直追逼到太平軍的壁壘之下，被太平軍開槍擊斃。
湘軍連折戰將，攻擊不順。多虧楊政謨出兵奇襲，才扭轉艱難的局麵。
楊政謨見太平軍向新城集結兵力，料定杭州城內兵力空虛，率領水師燒毀太平軍戰船，直搗杭州望江門的太平軍壁壘，一舉攻破。太平軍大為驚慌，陳炳文連忙把增援富陽的各路部隊撤回杭州。