开皇九年至开皇二十年为另一阶段，太子勇地位开始受冲击，直至被废告终。开皇九年前杨勇虽由于文帝及关陇集团之核心人物支持，并与独孤后相安无事，而储位暂得巩固。但随着日久，由于杨勇行事上的随意性，在德行上开始表现出失误，如其“文饰蜀铠”，而为文帝所不快。以后，由于冬至百官朝东宫事件及选侍卫问题，使文帝对太子勇“渐生疑阻”〔10〕。此外，杨勇在处理婚姻问题上“率意任情”，专宠小妾，未谙关陇集团中婚姻之要义，引起文帝及独孤后不满。特别是独孤后，更是“遣人伺察，求勇罪过”〔11〕。由此母子间矛盾产生，昔日两人间相安无事局面已荡然无存。同时，太子勇在关陇集团中之支持者，如贺若弼等，或黜或逝，已渐稀少，而作为最有力支持者的高颎也因与独孤后有矛盾，而始被隋文帝夫妇所防范。在这段时期内，作为新的集团——杨广集团逐渐兴起。杨广在开皇九年统大军灭陈，接着又被拜为太尉，镇守扬州。凭借军功，已取得夺嫡之重要资本。同时，杨广还广泛笼络关陇集团人物，如宇文述、郭衍、张衡等〔12〕。并通过宇文述交游杨约，并得以交接杨素，晓之以利害，进而取得杨素之支持〔13〕。杨广更以其矫饰，取得独孤后欢心，在夺嫡斗争中取得重要砝码。在独孤后运作下，文帝已潜生易储之意。但这一动向遭到高颎强烈反对，史载文帝就易储问题咨于高颎，“颎长跪曰：‘长幼有序，其可废乎！’上默然而止”〔14〕。高颎以宗法伦理为由，暂时得以阻止文帝的易储计划。却引起独孤后不满，在其扇构下，最终文帝于开皇十九年，终将高颎罢黜。
在高颎被废，尚书左仆射空缺情况下，杨素于开皇二十年为尚书右仆射，成为政治中枢之核心。同时考察此间作为政治决策中枢的三省长官：尚书省右仆射为杨素（任职于开皇十二年——仁寿元年）、门下省纳言为苏威（任职于开皇十四年——仁寿元年）、内史令为齐王暕（任职于开皇十九年——仁寿元年）〔15〕。三人中，苏威无明显政治倾向，可不论。齐王暕（杨广子）、杨素之政治倾向明显在杨广一边。可见整个政治中枢为杨广集团所控制，标志着关陇集团高层已完成其新的人事更替。
开皇二十年（公元600年）的一次宫廷宴会在杨广夺嫡过程中具重要意义。在宴会上，杨素于独孤后面前盛赞晋王广之德，“以揣后意”。“后泣曰：‘公言是也！吾儿大孝爱，每闻至尊及我遣内使到，必迎于境首。……岂若睍地伐（杨勇）与阿云对坐，终日酣宴，昵近小人，疑阻骨肉！我所以益怜阿（杨广小字）者，常恐其潜杀之。’”〔16〕独孤后通过对二子德行的对比倡明废立之意，“素既知后意，因盛言太子不才”〔17〕。在了解到朝中重臣杨素意见后，后“遂遗素金，使赞上废立”〔18〕。通过这次沟通，使得宫中、府中在易储问题上已俱为一体。杨勇被废已成定局。之后，杨素等人通过各种手段构成杨勇之罪，最终在开皇二十年十月废太子勇为庶人，十一月，立杨广为皇太子。结合《隋书》各传可以看到，开皇二十年废杨勇过程中，只有左卫大将军元旻、太子冼马李纲对废太子事提出过反对意见，其它王公大臣竟无一人持异议。由此可见，太子勇已彻失关陇集团支持，焉有不败之理。

杨广集团虽在开皇年间夺嫡斗争中取得胜利。但在仁寿二年（公元602年），作为在朝政中具有重要影响的独孤后死去。使得杨广集团失去宫中有力支持者，并已无法遏制各反对力量的兴起。对此，杨广深有忧虑。史载，文献后死后，“上令上仪同三司萧吉为皇后（文献后）择葬地，……（萧吉）退而告族人萧平仲曰：‘皇太子遣宇文左率（宇文述）深谢余云：‘公前称我当为太子，竟有其验，终不忘也。今卜山陵，务令我早立。我立之后，当以富贵相报。’”〔19〕由这段材料可窥见其真实目的：盼其父早死，好早日即位。由是可看出杨广希冀早日完成权力转移的急迫心情。
杨广集团首先遭受来自朝中及地方官员的舆论压力。就在文献后死去当年，朝中和地方官员纷纷上书，为太子勇被废叫屈。特别是贝州长史裴肃上表请照东汉东海王之故事，封废太子勇为王，对文帝触动极大。由此文帝也心知杨勇被废，“不允天下之情”，于是征肃入朝，“具陈废立之意”〔20〕，可见文帝对废太子勇一事仍心存犹豫。紧随其后，朝中一些官员也相继发难，这些人物以梁毗、柳彧、李纲等人为代表。他们的主要活动是反对杨素。杨素自仁寿元年拜为尚书左仆射后，权势急剧膨胀，宗族子弟并为列卿，朝内外无人可比，又打击异己，权倾一时。由此招致朝臣不满。首先起来揭发杨氏的是梁毗，他在所上封事中对杨素之擅权有深刻揭露：“忤意者严霜夏零，阿旨者甘雨冬澍，荣枯由其唇吻，废兴候其指麾。所私皆非忠党，所进咸是亲戚。子弟布列，兼州连县。天下无事，容息异图；四海稍虞，必为祸始。……陛下若以素为阿衡，臣恐其心未必伊尹也。”〔21〕对此揭露杨素专权的上奏，文帝初还不信，将梁毗下狱，并亲加审问，梁毗因奏言杨素在太子、蜀王被废时，唯其“扬眉奋肘，喜见容色”〔22〕。梁毗言辞謇謇，不由文帝不信。使其始对杨素之专擅也有所觉察。从而以“外示优崇，实夺之权〔23〕”之策，架空杨素。由是，“杨素终仁寿之未，不复通判省事”
〔24〕。同时又对杨素关系亲密者，如薛道衡、杨约外放，从而剪除其党羽，暂时抑制住其膨胀的势力。针对作为杨广集团头号人物的杨素的一系列行动，足以削弱杨广集团。
在文帝支持下，以柳述、元岩为代表的新势力也在兴起。柳、元二人并属关陇集团中之汉族大族，他们通过与皇室联姻，在文帝扶植下，得以参预政权。随着杨素被疏远，文帝将二人推上参掌机要的地位，成为文帝晚年实际的执政。因此有必要考察其与杨广集团之关系。两人中，柳述尤应注意，《隋书》载柳述在娶高祖女兰陵公主前，“晋王广欲以主配其妃弟萧玚，高祖初许之，后遂适述，晋王因不悦。及述用事，弥恶之”〔25〕。又柳述为吏部尚书时，“怙宠骄豪，无所降屈”，“杨素时称贵幸，朝臣莫不詟惮，述每陵侮之，数于上前面折素短。判事有不合素意，素或令述改之，辄谓将命者曰：‘语仆射，道尚书不肯。’素由是衔之”〔26〕。由上可看出，因为柳氏与杨素交恶，在政治上决不会持支持杨广集团之态度。因此，对杨广集团来说，存在一个与之相左的执政势力，则成为其上台的一大障碍。