高宗對杜充放棄開封的舉動不加責罰，反而還命他負責長江防務，升任右相。高宗在建康稍事逗留，就又返回杭州，並派使臣杜時亮向金營呈送《致元帥書》。
如此屈辱的書信，並未取得金人的憐憫。1129年秋，金軍又兵分多路向南進犯。完顏撻懶（漢名昌）領軍進攻淮南，完顏兀術（漢名宗弼）則領軍直接進攻江南，直搗趙構所在的臨安（杭州），企圖一舉滅亡南宋，占領整個宋朝領土。
十一月初，兀術占領長江北岸和縣。金軍沿長江北岸東進，與李成合攻烏江，離建康不到百裏。杜充向朝廷上報“督師詣采石防守”，卻深居簡出不做準備。嶽飛入杜充寢閣，苦勸再三至於流涕，但也無濟於事。
聽到金軍渡江的消息後，杜充才派都統製陳淬率嶽飛、戚方等將官統兵兩萬奔赴馬家渡，又派王燮的一萬三千人策應。陳淬率軍力戰，嶽飛率右軍和金國漢軍萬夫長對陣，王燮卻不戰而逃，陳淬戰死，諸將皆潰，嶽飛苦戰無援，整軍退屯建康東北的鍾山。杜充又棄建康，逃往真州，不久降金。建康失陷。
馬家渡之戰後，嶽飛決定脫離杜充，獨自轉戰金軍後方。時嶽飛的部下有叛逃者，嶽飛向他們慷慨陳詞，士卒皆被感動，願隨嶽飛作戰。杜充投敵，宋軍紛紛潰散。潰軍中一些北方將領不願再戰，欲推舉嶽飛為主帥，一同投金。嶽飛假意應允，乘其不備，帶親信數人與之相鬥，一連擊敗數十人；嶽飛又對眾軍嚴肅訓誡了一番，眾皆心悅誠服，軍心遂定。
兀術占領建康府後，親率主力追趕宋高宗。高宗由越州逃向明州，隨後又從明州乘船，逃到海上避難。
完顏兀術由建康進軍，接連攻下溧水、廣德、安吉、湖州，直取杭州，嶽飛則領軍在其後方，伺機給予痛擊。嶽飛遣劉經率兵千人夜襲溧陽，順利攻克了被金軍占領的溧陽縣城。嶽飛親自領軍轉戰廣德境中，六戰皆捷。駐軍廣德軍的鍾村，軍糧用盡，將士忍饑，卻不敢擾民。
建炎四年（1130年）初春，宜興正被潰軍騷擾，縣令請嶽飛來宜興，說：“縣中存糧，可供一萬軍士吃十年！”二月，嶽飛進駐宜興，屯於張渚鎮。在廣德和宜興，嶽飛收降了因政局混亂而在當地為匪的多支部隊以及金軍強征來的河北、河東等地簽軍。嶽飛不歧視、苛待他們，偽軍們都傳話說：“此嶽爺爺軍。”爭來降附。嶽飛抗金英勇，愛民如親，宜興人民感恩戴德。他們說：“父母生我也易，公之保我也難。”
二月，金軍以舟師浮海，窮追高宗三百裏未獲。兀術借口“搜山檢海已畢”，縱兵燒掠明州、臨安等城，攜帶所掠全部金銀財寶，從大運河水陸並進，經秀州（浙江嘉興）、平江（江蘇蘇州）等地向北撤退。經過常州時，嶽飛率軍從宜興趕來截擊。嶽飛四戰皆捷，擒萬戶少主孛堇等十一人。常州截擊戰之後，嶽飛首次得到朝廷詔令，命他配合鎮江韓世忠，從左翼進擊金軍，伺機收複建康。
金軍在水路與韓世忠相持達四十日，被困於黃天**，因奸細獻策才得以入江。陸路上，嶽飛在四月二十五日於建康城南三十裏的清水亭首戰大捷，金兵橫屍十五裏。
五月初，嶽飛在建康南麵的牛頭山紮營，在夜間以百人敢死隊騷擾金軍，金軍傷亡甚大。兀術準備放棄建康，先在城中大肆殺掠和破壞，然後從建康西北的靖安鎮（亦稱龍灣）向北岸的宣化鎮渡江。嶽飛領騎三百、步兵二千衝下牛頭山，大破金軍，進據新城。又追至靖安，消滅了未及渡江的金軍。建康得以收複。
建康戰役曆時半月，嶽家軍僅斬女真兵就“無慮三千”，擒獲二十多名軍官。這是嶽家軍的首次輝煌勝利。