明初，丞相李善長多次受到太祖朱元璋的責備，很有可能就被罷免了有被罷用的可能。劉基對朱元璋說：李善長是有功勳的舊臣，他能夠協調好諸位將軍之間的關係。朱元璋說：他好幾次背後說你壞話這個人幾次說你壞話，欲加害於你，你怎麽還替他說話你還維護他的地位嗎?我想要你做丞相呢!劉基叩頭，一邊拒絕、一邊解釋：更換丞相有如更換房柱，必須用大木，如果用一束束細木條捆綁一起替代，房子頃刻瞬間就會倒坍。
不久，李善長罷相，朱元璋準備以封楊憲為承相，楊憲與他與劉基交往過從甚密，朱元璋以為會得到劉基的支持。不料，劉基力言不可，說“憲有相才無相器。夫宰相者，持心如水，以義理為權衡，而己無與者也，”楊憲難以做到公平執法這個人難以做到像水那樣公平，以義理為評判是非的標準。朱元璋又問汪廣洋如何，劉基說，這個人器量狹小淺薄，還不如楊憲比楊憲還過之無不及；又問胡惟庸怎樣，劉基比方說，猶如一匹駕車的馬，但是我擔心他可能會把車駕翻了。
朱元璋想了想說：我選相才，實在沒有人能超過你的。劉基說，我這個人嫉惡如仇，性情太剛，又缺乏處理繁雜事務的耐心，我若擔此重任比辜負皇上一片心意讓我任丞相會有負皇帝的恩寵，“天下何患無才，惟明主悉心求之。目前諸人誠未見其可也。”
後來，楊憲、汪廣洋、胡惟庸都得到不同程度重用，胡惟庸還任丞相八年，但都相繼敗亡了，都象劉基預言的那樣原因正如劉基早年預言的那樣。