楊廣當了將近兩年的太子後，仁壽二年（602）八月二十四日，獨孤皇後病逝，時年五十歲。她被尊稱為“文獻皇後”。
楊廣表現得萬分悲痛，拜見父皇楊堅時哀慟氣絕，泣不成聲，無法站立，但回到東宮後，他的舉止馬上恢複自然，可見是裝的。為了表示事母至孝，他還總是裝出茶飯不思的樣子。私下裏，他卻在衣袖裏藏了多個竹管，管子裏裝著精製的豬魚肉脯，管口用蠟封死。夜深人靜的時候，或者沒人的時候，他就趕緊抽出竹管吃上幾口美食，吃完了繼續哭喪。
當時，朝野上下並沒有因為太子廢立一事塵埃落定而安靜下來，相反是暗流湧動、爭鬥不斷。借著皇後的喪事，一些為楊勇抱不平的人紛紛上書，給楊勇爭取權益。
先是文林郎楊孝政上書說：“皇太子為小人所誤，宜加訓誨，不宜廢黜。”隋文帝楊堅讀後很生氣，動手打了楊孝政。接著貝州長史裴肅上表，請求仿照前朝的慣例，封廢太子為王。這道上表對楊堅的觸動很大，楊堅覺得天底下還有一幫人在維護楊勇，這出乎他的意料。他特地征召裴肅入朝，兩人麵談了楊勇的問題。雖然楊堅最終沒有封楊勇為王，但激起了朝中一批大臣相繼發難，更多的人則把攻擊的矛頭對準了尚書左仆射楊素。這引起了楊堅的警覺。
仁壽元年（601）正月，楊素拜為尚書左仆射，日漸獨斷專行、打擊異己，權勢膨脹。楊素的很多宗族子弟平步青雲，占據朝堂。楊素的所作所為招致了朝臣的不滿，楊家勢力的擴張也引起了楊堅的注意。皇帝在權力方麵都是非常敏感的，不允許任何人威脅到至高無上的皇權。
同情廢太子楊勇的大臣梁毗，上書揭露楊素擅權，說：“楊素所私皆非忠讜，所進鹹是親戚，子弟布列，兼州連縣。天下無事，容息異圖；四海稍虞，必為禍始。”楊堅開始還不相信，把梁毗打入監獄，親自審問。這一審問，改變了楊堅的態度。梁毗說楊素在太子楊勇、蜀王楊秀獲罪被廢的時候，“揚眉奮肘，喜見容色，利國家有事以為身幸”。
梁毗的話，刺激了楊堅敏感的神經。他把楊素平時的言行在腦子裏回想了一遍，判斷楊素的確有專權攬政的嫌疑，於是果斷決定“架空”楊素。一方麵，楊堅對楊素很客氣，禮遇有加，但就是不讓他過問具體的政務。尚書省是負責貫徹落實政令的，但一直到楊堅駕崩之前，楊素都不再主持尚書省的政務。另一方麵，楊堅剪除楊素的黨羽，把和楊素關係親密的人，比如楊約、薛道衡等人全部外放，不允許楊素擴張勢力。
楊素的旁邊，站著新太子楊廣。兩人早就結成了政治同盟，經過扳倒宰相高熲、推翻太子楊勇等戰役後，楊廣、楊素的同盟更加堅固，而且也為他人所知曉。而皇帝最看不得的，就是底下的人結黨營私，可能威脅到皇權。楊堅要想從根子上遏製楊素、楊廣這一派勢力，就要樹立一派新力量與之抗衡，畢竟雙輪車要比單輪車穩定得多。
在隋文帝楊堅的支持下，以柳述、元岩為代表的權貴勢力迅速崛起。柳述是當朝駙馬，楊堅的女婿，娶了楊堅最寵愛的五女兒蘭陵公主。之前，晉王楊廣希望蘭陵公主許配給小舅子、晉王妃的弟弟蕭瑒。楊堅開始答應了，後來又改了主意。因為這件事情，楊廣很討厭柳述。柳述崛起後，兩人的關係更加惡化。
柳述擔任吏部尚書的時候，仗著特殊的身份、地位，較為驕橫。楊素權傾天下，其他大臣都很怕他，但是柳述就不把楊素放在眼裏，好幾次在楊堅麵前揭露楊素的短處。還有幾回，柳述的公務處理得不合楊素的心意，楊素派人通知柳述改正，但柳述對來人說：“回去告訴楊素，就說我柳述不改。”不用說，楊素也很討厭柳述。
楊堅提拔的另一個人是元岩，他被任命為黃門侍郎。黃門侍郎是皇帝的近侍官員，負責傳遞詔令，同時在隋朝又是門下省的副職，掌握中央決策的審批，是非常關鍵的職位。楊堅用柳述、元岩兩個人，勉強可以和太子楊廣、尚書左仆射楊素的勢力相抗衡。在大臣之間保持力量均勢，不讓任何一方坐大，是中國古代典型的“帝王之術”。對此，楊廣、楊素兩個人十分不滿，但也無可奈何。
此時的楊堅，在孤獨皇後病逝後，壓製了大半輩子的欲望和不滿都宣泄了出來，開始縱情聲色。他大規模擴充後宮的女眷，新設置了三名貴人，將嬪增加到九人，世婦增加到二十七人，禦女增加到八十一人。此時的楊堅六十一歲了，年逾花甲，還整天閱盡美色。在眾多的嬪妃中，楊堅最寵愛兩個人，一個是陳氏，一個是蔡氏。楊堅封陳氏為“宣華夫人”，封蔡氏為“容華夫人”。容華夫人來自北方，風流嬌媚，善解人意。宣華夫人則是陳朝的宮廷美女，肌膚潤滑，溫柔可人。在溫柔鄉中，楊堅每天都笑逐顏開，然而一旦出了後宮，他就表現得多疑暴戾，罷黜、外貶和殺戮了大批看不順眼的官員。
楊堅越糊塗，對楊廣就越信任。仁壽初年，楊堅命令太子楊廣巡撫東南。楊堅去仁壽宮避暑的時候，都令楊廣在大興監國，代理朝政。
隨著廢立太子之事，宗室內部也不安穩。《隋書》認為楊勇在位日久，楊堅一朝廢立太子，“開逆亂之源，長覬覦之望”。楊廣取代大哥楊勇，當上了新太子，但是下麵的幾個弟弟心裏就在想：“為什麽我不能同樣取代二哥，當上新太子呢？”
在隋文帝諸子中，三子秦王楊俊在開皇二十年（600）六月已經去世，年僅三十歲。楊廣被立為太子後，能對他構成威脅的頭號人物就是蜀王楊秀。楊秀為楊堅第四子，常年鎮守四川地區。四川地勢險要，加上楊秀經營多年，實力日漸壯大。他見大哥楊勇被廢，二哥楊廣當上了新太子，心中很不滿。外人可能對楊勇、楊廣兩人不太了解，但是楊秀是他們的親弟弟，他對兩位哥哥的為人稟性是有大致準確的認識的。當楊廣上位後，他便暗中招兵買馬，有意要爭奪太子之位。楊廣察覺後，決定先下手為強，暗中勾結楊素，要栽贓陷害楊秀，置他於死地。
客觀上，楊秀本身也劣跡斑斑。除了楊家兄弟“標配”的驕奢**逸外，楊秀還有許多問題。比如，楊秀建造渾天儀、司南車、記裏鼓，穿戴皇帝的服飾，這些都屬於僭越的行為；楊秀又和妃嬪出去打獵，以彈丸射人，還捉捕四川當地的居民，閹割後充當宦官。
楊素把這些問題報告給楊堅後，楊秀就沒戲可唱了。仁壽二年（602）閏十月，楊秀被召回大興。楊堅命令楊素等人審問楊秀。楊素和楊廣一商量，楊秀的所作所為的確應該受罰，但離徹底打倒在地，在政治上難以翻身，還有一段距離。那怎麽辦呢？他們決定偽造證據，羅織罪名。
中國古代流行巫蠱厭勝之術，即利用人偶詛咒他人。楊廣就偷偷做了一個木偶，上麵寫著隋文帝楊堅與漢王楊諒的名字，再縛手釘心，枷鎖杻械，寫上一段咒語：“請西嶽慈父聖母神兵收楊堅、楊諒神魂，如此形狀，勿令散**。”然後他暗中派人將木偶埋到華山腳下。接著楊素帶人去把木偶挖出來，作為楊秀謀害楊堅和楊諒的證據。此外，楊廣又以楊秀的名義偽造檄文，在文中稱“逆臣賊子，專弄威柄，陛下唯守虛器，一無所知”。寫好後，便模仿楊秀的筆跡抄寫一遍，夾入從楊秀家裏查抄出來的文集中。楊素根據這些證據，判定楊秀“謀逆”，報告給了隋文帝楊堅。楊堅既吃驚又失望：“天下竟有這樣的不肖子！”當年十二月，楊堅廢蜀王楊秀為庶人，幽禁於內侍省。
剩下來可能參與皇位競爭的，就隻有皇五子——漢王楊諒了。開皇十七年（597）秋，漢王楊諒出任並州總管，楊堅親自出宮餞送。南北朝以來，並州地位很重要，既是東西兩方政權征戰的主要地區，又是防禦北方突厥人的前線，乃兵家要地。所以，隋朝在並州駐紮了重兵，賦予並州總管巨大權力。楊堅給楊諒劃定的管轄範圍，“自山以東，至於滄海，南拒黃河，五十二州盡隸焉”，而且“特許以便宜，不拘律令”。楊諒轄域之廣，事權之重，勢力在所有地方官中是最強的。但是，由於楊諒年紀尚小，出鎮地方的時間也還短，所以沒有和二哥楊廣爆發衝突。楊諒隻是借口防禦突厥，修軍整武，擴充兵馬，意圖進則爭奪天下，退則割據一方。
這一切都表明，隋朝的政治局勢並沒有因為立楊廣為新太子而平靜，各種矛盾日趨複雜。