高拱被任命為輔臣時，世宗已重病。在西苑當值，日夜都不能回家。高拱頗不習慣。這位五十多歲的河南漢子頗為戀家，皆因他結婚三十餘年，老婆隻給他生了兩個女兒。在“不孝有三，無後為大”的明朝，這是一件很難堪的事情。高拱在朋友們的撮合下娶回小妾，巴心巴肺想生下一個兒子，如今置身西苑，有家歸不得，是何等的撓心。為了方便與小妾的相處，他決定把家從市內搬到西苑旁邊，這樣，他就可以偶爾抽空回家。
這種事怎瞞得過老狐狸徐階，他看在眼裏，嘴上不說什麽，心裏頭卻有想法。有一天，世宗突然病重，高拱聽了太監的話，認為世宗過不了今夜，於是立即跑進值房，將屬於自己的私人物件悉數搬回家去。這一點，更令徐階心中生厭，他認為高拱私心太重，缺乏和衷共濟的大臣風範。所以，在世宗駕崩後，他起草遺詔不與高拱商量，而找來得意門生張居正密議。
但是，就因為這件事情，高拱全然不顧徐階對他的提攜之恩，而與他反目成仇。世宗駕崩，裕王登基成為穆宗皇帝後，高拱自恃是裕邸舊臣，更不把徐階放在眼裏，處處與之作對。徐階畢竟經營多年，高拱的勢力無法與他抗衡，在一幫忠於徐階的言官的交相彈劾下，高拱無法抵擋，隻好下野。
穆宗宣布高拱致仕的時間是隆慶元年（1567）的五月二十三日。一年以後，即隆慶二年的五月十九日，首輔徐階宣布退休。
還在裕邸的時候，穆宗就養成了好酒好色的習慣，登基之後，一如往昔不加節製。徐階直言規勸，穆宗雖然采納，但也慢慢對徐階采取疏遠的態度。恰逢此時，徐階遭到給事中張齊的彈劾，於是堅決要求退休返鄉，穆宗同意。
人們談論明朝的政治，常常津津樂道“小官管大官”這一條。這實際上指的是明朝的言官製度。言官即今天的紀檢、監察幹部，由都察院與六科兩個衙門管轄。都察院係統的言官叫禦史，六科係統的言官叫給事中。禦史的總領導叫都禦史，六科的總領導叫都給事中。都察院給全國各省配備紀檢監察幹部，級別與六部相同，屬正二品衙門。六科專門針對六部而設置，如吏科監督吏部，戶科監督戶部等等。六科有六個都給事中，官階隻有六品，給事中官階隻有七品，但享受四品的待遇。在明代，內閣輔臣與部院大臣的下台，多與禦史和給事中有關係。這些言官級別雖低，但握有彈劾大權。因此，大臣們很忌憚這些級別低微的小官。
明朝初期，言官們都在真正行使監察之責。中期之後，言官逐步演變為權力鬥爭的工具。某位政要為了排除異己而嗾使自己控製的言官對他人彈劾，最終讓對手倒台。
言官們的這種政治作用，在嘉靖一朝之前，並不明顯，甚至在嚴嵩時期，言官們還是朝廷合格的紀檢監察幹部。他們的演變並最終成為黨同伐異的工具，可以說是從徐階與高拱手上開始。在這一點上，兩人負有不可推卸的責任，特別是高拱，在他執政期間，一直沒有放鬆對言官的操縱。
徐階致仕之後，李春芳接任首輔，但他是一個好好先生。幾位輔臣如陳以勤、張居正、趙貞吉、殷士儋等，都是各捏各的笛，各打各的鼓，誰也不服誰。麵對這種“群龍無首”的局麵，穆宗決定召回高拱。
高拱下野一年半之後，於隆慶三年（1569）臘月二十二日重回內閣，而且，一來就越過李春芳直接擔任首輔。