閻錫山不僅感到了自己目前工作的艱難，也已經看到了自己今後的前途，遂生去任之意。1950年元旦剛過，徐永昌前來拜訪，一進門就直言告閻：“今日代人受過，不應當繼續下去，應拿出一個作法來，能行則做，不能行則辭”。閻說：“拿上作法以決定去留，有要挾之嫌，且我承認行政院因當時情況險惡，我若不作緩衝，當時即直接衝突，……。今則團結工作，已告一段落，應以‘扭轉時局無方，寸土必爭無術’而辭之。況今日拿一作法亦不能再有所望，扭轉時局方案及變一著差滿盤皆輸為一著勝滿盤皆贏者，前既難行，今何可期”（《閻錫山年譜》（六），第2396頁）。早就想複出的蔣介石，聽到閻錫山要辭職的消息後，自然暗中高興，因為閻若辭職，他就少了一個政壇對手，複出機會更多。可是，由於閻錫山自組閣以來，確實為挽救危局做了不少事情，頗有“人望”，蔣介石擔心國府遷台以來，在閻錫山的整治下，剛走上頭緒，閻辭職過早，有可能動搖民心，造成混亂，因此，蔣馬上會見了賈景德和徐永昌，通過他倆對閻進行“挽留”。但閻錫山去意已決。1月11日上午，他與人座談時，劉子英說：“輿論方麵批評院長是孤掌難鳴，曲高和寡，一切方案，計劃難行”。閻說：“隻要有權，孤掌很容易變成不孤，曲不論高不高，也能得到眾和”。劉反問：“責任內閣的閣揆尚能說無權乎”？閻說：“內閣的閣揆，等於駕轅的騾子，絆住了腿，寸步難行”（《閻錫山年譜》（六），第2419頁），至於是誰絆住了閻錫山的腿，自是不言而喻。
被蔣介石暫時“挽留”的閻錫山，雖然仍不懈怠勤懇工作，可是，蔣介石對他卻步步緊逼。閻錫山幾經努力，終於使台灣海南島保衛案於1月18日在行政院會議上通過後，1月23日，他赴陽明山找蔣介石，請蔣核酌行政院局部改組人選，並說人選當以保衛台灣、爭取美援為目標，還建議蔣介石，用他人組織起來的民眾終不可靠，應走民眾路線。然而，閻錫山的一片好心，卻未得到好報。1月25日，國民黨中央非常委員會的會議上，就決定閻錫山辭去兼國防部長職務，由參謀長顧祝同兼國防部長職。同時，端木傑、關吉玉辭職，其內政部長、中央銀行總裁，分別由穀正鋼、俞鴻均擔任，政務委員張群辭職，由丘念台繼任，陳良繼任交通部長。這些人事變動，雖然都是23日閻錫山與蔣介石商定的，但明顯充實的是顧祝同、穀正鋼、俞鴻均這些蔣的親信，閻的人馬不僅被擠了出來，而且他本人從廣州開始就掌握不放的國防部長一職也被“讓”了出來。蔣介石如此安排，顯然是在為其複出做準備的。因而，閻錫山辭意已定。1950年2月9日，蔣介石總裁辦公室秘書長黃少穀來訪，閻向黃表示了辭職的事，黃說：“應聽從總裁意”，閻堅持說：“人事國事，惟命是從。自己出處，應自由自主”。晚上，立法委劉傑、鄧勵豪、國大代表郭澄、盧學禮同訪閻錫山，當閻向他們表示：“今自請辭去，正其時也”時，有人問“此時堅辭，是否貽人以小節而失國務之嫌”？閻答：“需要能為而為則為，不需要為而不能為則去，在我無憾，在人何譏”。又有人說：“外間無端侮蔑，有人以為雖覺孤立，似亦可不必介意”。閻說：“既有侮蔑，不止孤立，或將結夥排斥，事理有定，我意已決”（《閻錫山年譜》（六），第2418頁）。時過3天，2月12日下午，賈景德向閻錫山報告說：“昨日院長來到院，總裁辦公室黃秘書長電話問：報載閻院長昨未到院，亦未會客，是否倦勤的表現”？閻聽後頗為忿怒，說：“我即倦勤，在交卸的前一刻鍾，也必照常任事。我向以令尹子文勉人，豈能不自勉”（《閻錫山年譜》（六），第2419頁）。黃少穀的問話，其實是要閻錫山早早辭去行政院一職。看來，蔣介石是迫不及待地要複出了。
但是，閻錫山辭職，蔣介石複出，卻麵臨著一個法律程序上的問題。因為閻錫山辭職，必向“代總統”辭職，可是，“代總統”李宗仁出國看病，他又向誰辭職？而蔣介石要複出，也必須是等“代總統”辭職後方可取代。恰在此時，2月12日，監察院院會根據李宗仁12月14日在給國民黨中央非常委員會的複電中以醫囑不可遠行，表示不能回國為借口，決議致函李宗仁，指陳其居美搖領國事措施錯誤，提請國民大會對李宗仁彈劾。之後不久，國民黨中央非常委員會於2月22日召開會議，請蔣介石複職，並且在此之前已有立法委員380餘人聯名電請蔣介石複職。而2月23日晚，國民黨中央黨部秘書長鄭彥棻謁閻時，又說：“惟以行政院長辭職，應俟總統複職後辦理”。這就是說，閻錫山想要辭職，必須等蔣介石複職之後才能辦理，而蔣介石為自己的複出早已開始緊鑼密鼓地進行著籌劃，所剩下的隻是一個時間問題了。
2月28日上午，台灣國民大會討論監察委員們提出的彈劾代總統李宗仁案，下午，國民黨中央非常委員會又討論蔣介石複任“總統”一事。這兩個事情，由於籌劃已久，且已安排妥當，自然是一致通過，要人們參加會議討論，隻不過是走走形式而已。
3月1日，蔣介石正式宣布“複行視事”，發表文告“期共奮勉，光複大陸，重建三民主義新中國”，閻錫山也參加了在介壽館舉行的蔣介石複職儀式。
儀式一結束，閻錫山馬上主持行政院臨時會議，提出辭去院長職務，會議決定進行內閣成員全體總辭職。當天下午閻又指示行政院秘書處，準備3月3日列席立法院會議時的施政報告，並答複質詢。
3月2日，蔣介石親自到行政院辦公室與閻錫山長談，對閻進行安撫。
3月6日，中國國民黨常委臨時會議在蔣介石的主持下，準閻錫山內閣總辭職，並決定由陳誠繼任行政院長。當天，陳誠找閻錫山晤談，閻錫山對陳說：“盼你以舍我莫屬的負責精神出來任事。在自己雖然是需要多費點力，多為點難，而實際上是適應了國家的曆史的需要”（《閻錫山年譜》（六），第2433頁）。這也許是閻錫山出任行政院長以來的切身體驗和感受。
蔣介石讓陳誠繼任行政院長，按法定程序，繼任院長也要經過立法院通過，對此，6日晚上，徐永昌對閻錫山說，若通過“公可遂其願，如通不過，公欲去而不得事小，國家之形勢事大，應有所考慮”，賈景德則設想，如若通不過，院長可提出陳誠為副院長，通過中常會即可任命，不需再通過立法院，任命之後，令陳誠代理院務，按憲法副院長可代四十日，屆時再提立法院通過，想不為難。閻錫山說：“煜如（賈景德字）之言甚好，我惟望順利通過，倘通不過，即照此辦”。從徐、賈二人的說法中，可以看出，他們是還想讓閻錫山長行政院的，而閻錫山雖說“望順利通過”，其實他也有繼續出任行政院長的意思。但是，蔣介石定了的事，是無人敢輕易否定的。3月7日，立法院同意陳誠為行政院長，這一結果完全出乎徐、賈二人意料，也對閻錫山是一個沉重打擊，蔣介石辦事如此“果斷”，連一點回旋的餘地都不給留，著實讓閻錫山傷心。
3月10日，閻錫山看到了蔣介石“總統台字經217號令”，準予閻錫山辭職。3月14日，閻錫山應蔣介石之邀，赴陽明山參加卸任全體閣員宴會。當蔣與閻談話，以國事征詢時，閻錫山直言以對，提出了以下幾條：“一、尊重國民大會；二、與立法院密切合作；三、發揮監察院功能，以合憲政，振人心，圖複興”（《閻錫山年譜》（六），第2439頁）。這不知是閻錫山對蔣介石的提醒，還是他向蔣表示自己雖然辭職，仍在關心國事。
3月15日上午9時30分，台灣國民政府在介壽館舉行新舊內閣交接儀式，儀式結束後，在由陳誠舉辦的新舊全體閣員聯席會議上，閻錫山發表了簡短致辭，稱：“錫山出任行政院長，九月於茲，回憶在此期間未能扭轉時局，慚愧實深，前在重慶，即以告一段落，請辭未準。繼到台灣，即認成中央與地方事應集中處理，以期迅捷，而少牽製。因代總統出國，未能實現。今幸總統複行視事，並得辭修先生適應需要，出掌內閣，一切事的處理上熟悉明敏，且有實幹苦幹的精神，定能有加倍的效果”（《閻錫山年譜》（六），第2440頁）。
閻錫山到台後的近三個月中，在李宗仁未歸國，蔣介石又未複出，而台灣時局又一片混亂的情況下，苦心孤詣，竭力治理，確實“功不可泯”，堪稱“激流裏的勇夫”。但他最終還是被擠出了政壇，從此，閻錫山也就結束了他近40年的政治生涯。
不過，令閻錫山稍感安慰的是，就在他辭職的當天，即1950年3月15日，《大華晚報》在以《惜別閻伯川》為題的報道中，對他出任行政院長以來的功績予以了高度評價，說“閻內閣是戡亂戰事進入‘敗勢’以後最浮眾望的一任內閣，……可以說，還沒有一任行政院長，能夠得到如此宏溥真摯的‘人望’”。“閻先生在任的時代，可謂是一個‘大撤退’的時代，中央政府由南京而廣州，由廣州而重慶，由重慶而成都，由成都而彷徨於野，終於遷到台灣。照這樣一個時代的士氣民心看來，能夠在倉惶危急之際，不消極、不動搖，不放棄責任者，求諸身逢其變之當軸諸公，能如閻先生者，恐怕夠資格的人不很多”等等。這或許是該報受蔣介石指使，對閻錫山的一個“交代”吧，但這對閻錫山還有什麽實際的意義呢？