正如呂布所說，二郎山已經到了非常艱難的地步，北邊的凶奴時不時地侵擾二郎山的地盤，與嚴家隊伍時有磨擦，而南邊卻有並州官兵時而也來圍困，使得他們前後受敵，軍中糧草也經常出現危機。
嚴豹開始擔心了，他對嚴虎說：“如今看來這二郎山也不是久留之地，咱們的發展受到了嚴重擠逼。”
嚴虎說：“沒有別的辦法，我們必須堅持到底。”
“如今諸侯割據各自為政，我們處在這偏遠的二郎山前後受敵，總有一天我們就將堅持不下去了。”
嚴虎說：“咱們也沒有更好的去處，總不能去投姐夫吧？”
嚴豹說：“我欲和你商量此事，與其說在這兒受到擠壓，還不如帶領人馬去投奉先，與他合兵一處共同打天下。”
嚴虎說：“我們還沒有到了山窮水盡的地步，為何要離開？”
嚴豹說：“小虎，應該麵對現實，如今咱們前後受敵，糧草都出現了危機，留在二郎山確實不是長遠之計。既然奉先一直想讓咱們過去與他共同打江山，那就幹脆放棄二郎山去投他。”
嚴虎說：“俗話說，寧為雞頭不做鳳尾，在這兒咱們兄弟說了算，到了姐夫那兒都得聽他的，你心甘嗎？”
嚴豹說：“隻要能夠跟著奉先做出一番事業，做他的部下又怎麽樣？總比我們在這兒受圍困強吧？”
嚴虎說：“哥，我可不想在別人部下聽使喚。”
“奉先畢竟不是普通人，是曾經在皇宮裏指揮千軍萬馬的大將軍，如今和張遼合兵一處也有一兩萬人馬，據說他已經攻破了洛陽，勢力在不斷地加強，我們應該帶領人馬去投靠他。”
“哥，還沒有到了非離開不可的地步，我不想扔下二郎山。”
就在嚴家兄弟爭論之際，有人突然來報告說，祁旺夫妻回來了。
嚴豹和嚴虎幾乎同時問道：“他們在哪裏？”
“帳外求見！”
“快快請進！”
哨兵就將祁旺夫妻二人帶進了大帳。
嚴豹和嚴虎見了笑出了聲，嚴豹說：“你們怎麽如此打扮？”
祁旺望一眼香瀾與自己一身叫花子打扮，然後解釋說：“進了五原郡境內到處都是並州兵馬，我們夫妻隻好化裝成普通百姓，否則隨時就會遭到盤查，害怕被人家認出來。”
香瀾說：“我們發現並州人馬在盤查二郎山上的人，看來你們處境地確實不佳。”
嚴豹就將最近的情況做了個大概說明，然後問道：“你們夫妻怎麽突然返回？”
香瀾抬頭望向丈夫祁旺。
祁旺就對嚴家兄弟說：“實話告訴二位大王，我們是奉奉先之命回來召你們去洛陽的。奉先帶領軍隊攻打下了洛陽城，想以洛陽為根據地發展壯大，而且還要迎皇上到洛陽重新建都。但是袁紹屢屢派人圍城想逼走我們，惡戰連連不斷。奉先也知道二郎山受到了前後夾擊不好生存，因此派我們夫妻來邀請二位大王。”他完就將呂布的親筆信掏了出來交給嚴豹，然後說，“這是奉先的親筆信，二位看了就明白了。”
嚴豹很高興地接過書信仔細看了起來，然後才說：“剛才我還和小虎說起此事呢！既然如此你們夫妻先去休息，待我與眾位首領商量商量，咱們明日再說如何？”
祁旺說：“好吧，我們夫妻也想看望軍中那些老朋友。”
香瀾提醒說：“二位大王是奉先的親人，過多的話我們也不說，請你們趕快決斷。”
然後，祁旺夫妻二人就從大帳出來了。
祁旺夫妻離開後，嚴豹將呂布的書信遞給嚴虎說：“小虎，你自己看看信，奉先言辭懇切，衷心邀請咱們入夥。這是一個離開二郎山的最佳時機。”
嚴虎接過書信仔細看了起來，從呂布的字裏行間可以看出他的誠意，也看出他的雄心壯誌和發展勢頭。
嚴豹在一旁認真地說：“目前二郎山確實不好生存，既然奉先派祁旺夫妻回來邀請咱們下山，那咱們就來個順水推舟，撤離二郎山去找奉先合夥。”
嚴虎也開始動心了，他說：“既然這樣我也同意去投姐夫，但是必須與姐夫講好，假如咱們兄弟不滿意就隨時帶領人馬離開。”
嚴豹說：“他是咱們的親人，隻要咱們一心一意輔佐他，他怎麽會錯待咱們？”
“姐夫那人很傲氣，看不起不如他的人。”
嚴豹說：“瞎說！丁原是他的殺父仇人，當他斬殺了丁原之後，跟隨丁原那些將領不但沒有離開他，而且一直跟隨到現在，其中不僅僅因為他是天下第一條英雄好漢，還是一個非常講義氣之人，所以身邊才聚集了那麽多的英雄好漢。”
嚴虎終於被哥哥說服，他隻好同意下山去投呂布。
嚴豹說服了嚴虎之後就秘密命令開始做下山的準備，但凡能夠帶走的東西一律帶走，二十輛輕便馬車裝滿了貴重物品。
半夜時分，嚴豹嚴虎帶領二郎山的幾千人馬悄悄下山，穿過枳機林往黃河邊走，然後沿著黃河向東南撤退。並州兵馬發現後進行追趕，但為時已晚。