太子楊勇的地位岌岌可危，晉王楊廣開始蠢蠢欲動。開皇十九年（599），楊廣又一次到京師朝拜父母。在從大興返回揚州之前，楊廣去向獨孤皇後辭行。這不是一場普通的母子離別，而是一場非常精彩的政治表演，所以《隋書》把每一句話都詳細地記載了下來。
一見到獨孤皇後，楊廣臉上寫滿了悲傷，痛苦地說道：“兒臣鎮守東南，不能經常看到父皇與母後，臣子之戀，實結於心。一想到辭別母後後，兒臣就不能侍奉左右了，頓時覺得相見遙遙無期。”說完，楊廣哽咽流涕，伏地起不來了。
獨孤皇後見狀也很傷心，說：“你在方鎮，我又年老，今日的分別真的是和尋常的離別不同。”說完，她哭了。母子兩人相對唏噓。
楊廣成功營造了悲傷的氛圍後，繼續說道：“兒臣性識愚下，平常恪守兄弟之意，但不知道犯下了什麽罪過，失愛於東宮太子。皇兄對我非常生氣，多次想殺害我。我每天都生活在恐懼當中，怕皇兄誣陷我，給我下毒，不知道自己哪天是死期。”楊廣說的純粹是謊話，沒有任何史實證明楊勇要加害二弟楊廣。
獨孤皇後不辨真偽，她早就在心裏把楊勇判了道德死刑，認定楊勇就是逆子了。現在聽說楊勇竟然要殺害自己寵愛的二兒子楊廣，她氣憤地說：“楊勇實在是太不像話了。我為他迎娶了元家女，希望能興隆我們楊家基業，楊勇卻冷落元氏，從不做夫妻，一門心思寵愛阿雲。太子妃元氏身體好好的，突然就暴亡了，我看是楊勇和那個小狐狸精派人投毒，害死了我的兒媳婦。事已如是，我也不能追究到底，想不到他竟然把毒手伸向了你！我現在還活著，尚且如此，等我死後，你還不成了他的案上魚肉？現在東宮沒有嫡妻，等皇上千秋萬歲之後，難道還要讓你們兄弟在阿雲麵前反複叩拜問安？我一想到這兒，就無比心痛！這可怎麽辦好啊？”獨孤皇後的這番情緒發泄，把自己的態度表露無遺。
楊廣此行原本就是為了試探獨孤皇後對於廢立太子的態度，現在他已經得到了需要的答案。他掩飾住內心的喜悅之情，再次鄭重地向獨孤皇後行大禮，欲言又止，伏在地上一個勁兒地嗚咽。多麽完美的表演啊，看得獨孤皇後也悲不自勝。母子兩個人在悲傷當中達成了共識：廢掉太子楊勇，另立楊廣。《隋書》記載：“此別之後，知皇後意移，始構奪宗之計。”楊廣加快了奪嫡的步伐。
當時，楊廣麵臨的情況是，隋文帝楊堅和獨孤皇後都明確表露出了廢黜太子楊勇的意思，但是楊勇畢竟身為太子多年，影響廣泛，勢力根深蒂固，不是想推翻就能推翻的。楊廣需要積蓄自己的力量，自下而上地瓦解楊勇的勢力。楊廣分析了一下“敵我形勢”，發現自己欠缺的就是一個朝堂上的政治盟友，就像太子楊勇和宰相高熲是政治盟友，相互支持一樣，楊廣身邊還沒有這樣的角色。
楊廣把目光掃向朝堂上的諸公，發現有一個人很適合參與自己的“奪嫡大業”。這個人就是在迅速崛起的越國公楊素。楊素從開皇十二年（592）開始出任尚書右仆射，是居於高熲之下的“副宰相”，而且楊素曾與太子楊勇結怨。
物色好合適人選後，楊廣便召集黨羽張衡、宇文述商量如何爭取楊素的支持。大家定了一個計劃，先由宇文述出馬，到大興去找大理少卿楊約。楊約是楊素的弟弟，兄弟感情很好。待做通楊約的工作後，再謀求與楊素結盟。
宇文述到京師後，多次宴請楊約。宇文述知道楊約貪財，故意在酒足飯飽之際拿出許多奇珍異寶供楊約欣賞。楊約看到這麽多寶貝，愛不釋手，心裏很想要，又不好意思開口。宇文述就主動提出賭博娛樂，然後故意把所有的珍寶都輸給楊約。楊約發了一大筆橫財，覺得過意不去，主動回請宇文述。席間，楊約問道：“宇文大人，您和我說實話，這麽多奇珍異寶到底是怎麽來的？”可見楊約這個人也不傻。
宇文述就說：“那些都是晉王之賜，讓我送給楊大人賞玩的。”
楊約大吃一驚：“晉王想要我做什麽？”
宇文述坦白道：“政治無常，識時務者為俊傑。自古賢人君子，沒有不緊跟形勢、掌握消息、避禍趨利的！楊大人兄弟二人功名蓋世，掌權用事也有好幾年了，但你們這麽多年來，得罪的人也不在少數。我聽說東宮太子有好幾回在執政大臣那裏碰了釘子，對令兄很不滿意。楊氏兄弟現在有皇上的信任，暫時不會有事。皇上一旦駕崩，貴兄弟將如何自保？”宇文述這番話一下子就抓住了楊約的心思。
宇文述繼續說道：“當今皇太子失愛於皇後，皇上素有廢黜之心，這事你也知道。如果尊兄楊素能請立晉王為太子，就能建立不世之大功，晉王必然會鐫銘於骨髓。這樣你們兄弟倆就能避累卵之危，成泰山之安了。”
楊約覺得宇文述說的很有道理，回去之後就去做兄長楊素的思想工作了。他將宇文述的話轉述之後，心思縝密、做事穩重的楊素馬上就明白晉王楊廣的意思，“看來楊廣是迫切地想推翻楊勇，取而代之了”。宇文述給楊家兄弟分析的話，從邏輯上講是沒有錯的，但是其中有一個關鍵點：楊廣取代楊勇的可能性有多大？楊素覺得必須分析清楚楊廣的勝算概率，自己才能決定站在哪一邊。
幾天後，楊素入宮侍宴，剛好借此機會刺探獨孤皇後的態度。他就假意說晉王楊廣孝悌恭儉，很像當今聖上。獨孤皇後聽了以後，很感慨地說：“你說的很對。我這個二兒子非常孝順，聽說每次皇上或者我派遣內侍到他那裏，他都要在邊界迎接。晉王每次談到遠離父母，都會泣不成聲。我那二媳婦也很可憐，生活很清苦。我派婢女過去，她貴為王妃，還經常與婢女同寢共食。”說著，獨孤皇後的眼角都泛出淚光來了。不過馬上，她就把話鋒一轉，怒道：“哪裏像楊勇那樣，就知道和阿雲膩在一起，終日酣宴，昵近小人，疑阻骨肉。一想到這，我就更加可憐阿摐（楊廣小名），常常擔心他被那狠心的哥哥暗殺了。”
楊素是何等聰明之人，聽了獨孤皇後的話，馬上明白了，他附和獨孤皇後說了很多“太子不才”的話。獨孤皇後沒有想到大臣當中，還有這麽通自己心意的人，對楊素好感大增，臨別前還賞賜了楊素金銀珍寶。這次談話後，楊素堅定地選擇了站在晉王楊廣的一邊，互通消息，準備推翻楊勇。於是晉王楊廣、右仆射楊素、獨孤皇後三股力量形成了新的鐵三角，共同推動廢太子楊勇之事。
在這個時候，長期養尊處優的太子楊勇的缺陷就暴露了出來。楊勇雖然感覺到自己失去了父皇和母後的寵信，也感覺到朝堂之上支持自己的力量在衰落，但是他並沒有采取必要的補救措施，更沒有對威脅自己的楊廣等人展開反擊。楊勇不知道如何調動自己的支持力量，如何施加自己的影響力，更不知道主動進攻、以退為進、韜光養晦等政治技巧和鬥爭策略。他幾乎是坐等危險一步步向自己逼近。
反對楊勇的鐵三角中，楊素最先積極行動起來。他把攻擊的矛頭對準了支持楊勇的尚書左仆射高熲。打倒了高熲，既可以斷掉太子楊勇的臂膀，重創楊勇的支持力量，同時自己可以取代高熲的宰相之位，楊素何樂而不為呢？
就在楊廣、楊素兩人連手的開皇十九年（599），六月爆發了“王世積案”。此案被楊廣和楊素所利用，沉重打擊了高熲。最終楊堅將高熲父子削職為民，高熲徹底失去了政治實力。尚書右仆射楊素很快頂替了高熲的地位，升任尚書左仆射。
太子楊勇終於明白了自己的危險處境。他環顧四周，自己已經失去了父母的寵信，父皇顯露出了廢黜太子的明顯信號，鐵杆支持者高熲不僅失去了宰相地位，還被削職為民，朝堂上也沒有了可以依靠的力量。楊勇也知道，二弟楊廣和新宰相楊素正在聯合要扳倒自己。楊勇又擔心又害怕，到底應該怎麽辦呢？
這個時候，過早的太子生活給楊勇造成的負麵作用徹底暴露了出來。楊勇在長期的安逸中並沒有掌握充分的政治鬥爭的技巧，完全不知道如何利用自己的身份和地位，動用自己現有的資源，進行謀篇布局，展開反擊。相反，他有不少荒唐的舉動。
楊勇為了保住太子之位，主要的對策就是利用封建迷信。曆朝曆代都有許多政治騙子，裝神弄鬼謀取私利。當時就有一個新豐人，叫作王輔賢，據說搞封建迷信有一套，能占候（視天象變化以附會人事，預言吉凶禍福），蒙騙了不少政治人物。楊勇聽說他的名聲後，召他過來詢問自己的前程。王輔賢掐指一算，說：“白虹貫東宮門，太白襲月，皇太子廢退之象也。”楊勇大驚，趕緊問：“大師，我應該怎麽辦呢？”王輔賢就“指導”楊勇應該如何做，楊勇一一照辦，用銅鐵造了各種兵器，擺在宮中用來抵禦天象。同時，他還在東宮後園中建立庶人村，屋舍很簡陋，自己卻經常住到裏麵去，穿粗衣，食粗食，希望能躲過不利的天象。他以為自己穿破衣爛衫，上天就看不出他是太子，就不能把壞運氣施加到他頭上了。
上天有沒有看到楊勇的種種努力，我們不得而知，楊堅倒是看到了太子楊勇的種種不尋常舉動。隋文帝楊堅當時並沒有下定決心要廢黜楊勇，他得知東宮有異狀，明白楊勇內心非常不安，就派宰相楊素去觀察和開導。
楊堅把如此敏感的任務交給楊素，注定是不會成功的。隻見楊素到東宮後，卻站在宮門口不進去。楊勇聽說父皇派宰相楊素來東宮，整理好服裝，在宮中迎接楊素到來。但是楊素就是在宮門口不進去，拖延了很長時間，也不讓人通報。楊勇在這種尷尬的情況下，既不願意屈尊主動出宮來迎接，也沒有想到派人出來詢問，隻是讓局麵這麽僵持下去。而且時間越長，楊勇的情緒越糟，在心裏不斷地埋怨楊素。等把楊勇激怒後，楊素這才邁進東宮大門，和太子相見。楊勇自然沒有好臉色，兩個人不著邊際地談了一會，就散了。
楊素回到隋文帝楊堅那裏，說太子楊勇如今積怨很深，情緒不太對，恐怕會有其他變故，提醒楊堅早做提防。與此同時，獨孤皇後一直沒有停止對楊勇的監視和窺探。她對偵察到的東宮的大事小事，都戴著有色眼鏡朝著負麵的方向想，然後將這些負麵信息不斷地傳遞給楊堅。
這些信息刺激了楊堅，他不僅疏遠楊勇，而且為了預防這個情緒狀態不太正常的兒子行為過激，布置了許多防範措施。比如，楊堅親自安排了許多偵察兵，觀察楊勇的動靜，遇到情況隨時報告給自己；又比如，楊堅命令東宮所有的侍衛，都隸屬於各個衛府。隋朝的軍隊是由皇帝控製的中央軍和非直轄於皇帝的地方軍組成，其中皇帝直接控製的中央軍，設立了十二個衛府，每個衛府統轄一個軍，每軍設置一個大將軍。現在，楊堅命令太子身邊的所有宿衛武裝，在人事關係上要隸屬於十二個衛府，就等於是把太子的武裝都掌握在了自己手中，釜底抽薪，防止楊勇有不軌的行為。
即使如此，楊堅還是不能徹底放心，他把東宮侍衛中勇猛健碩的衛士全都開除了，隻給楊勇留下老弱平庸的侍衛。從中可見楊堅、楊勇父子關係之緊張。《隋書》用一句話描述，那就是：“高祖惑於邪議，遂疏忌勇。”