杨广只好把目光转向另一个重要人物杨素身上。杨素此时已经取代了苏威，成为尚书左仆射，和高颎同掌朝政。虽然和高颎平起平坐，但在为人和理政方面，两人还是有不小的差距。“素性疏而辩，高下在心，朝臣之内，颇推高颎，敬牛弘，厚接薛道衡，视苏威蔑如也。自余朝贵，多被陵轹。其才艺风调，优于高颎，至于推诚体国，处物平当，有宰相识度，不如颎远矣。”
杨素这个人很清高，朝中能看得上的只有高颎、牛弘、薛道衡，连苏威也不放在眼里，至于其他大臣，只要和他有过节的，杨素都会百般刁难。因此，论才艺风调，杨素优于高颎，至于治理国家，则远不及高颎。
杨广觉得杨素有可能帮助自己，一方面杨素虽然地位很高，但还是在高颎之下，想要成为朝臣中的第一人，必须要扳倒高颎。另一方面杨素虽然看得上高颎，但两人因为一件事情而心生芥蒂。
开皇十三年（593年）正月，隋文帝巡游岐州，非常喜欢这里的风景，便决定在这里建造一座行宫，以供他和独孤皇后颐养天年，这个任务落到了杨素头上。
杨素对此高度重视，请来了主持大兴城建设的宇文恺作为总设计师，记室封德彝为土木监。为了讨好隋文帝，“夷山堙谷以立宫殿，崇台累榭，宛转相属”，规模搞得很大，档次也很高。这样一来，施工难度大幅增加。杨素又想让隋文帝早日见到宫殿落成，于是投入大量人力物力，“役使严急，丁夫多死，疲屯颠仆，推填坑坎，覆以土石，因而筑为平地。死者以万数”。由于不分昼夜赶工，民工大量死亡。因疲劳过度而晕倒的也都被推进坑里，用土石覆盖后填为平地。尽管死了许多人，但杨素并不在意，无论在战场还是在工地，他从来不把普通人的性命放在心上。
在杨素的严酷监督下，规模庞大的仁寿宫仅仅用了一年时间便竣工落成。在此之前，隋文帝派高颎为自己打前站，查看实情，高颎回来如实禀报说：“颇伤绮丽，大损人丁。”这搞得素来以节俭著称的隋文帝心里颇感不悦。
带着不满情绪的隋文帝亲自启程前往仁寿宫，当时正值酷暑，“役夫死者相次于道”，很多死去工匠的尸体来不及处理，杨素竟然下令全部烧掉，不留任何痕迹，这样的做法实在令人发指。隋文帝看到宫殿修得非常奢华，心里更感不快，大怒道：“杨素殚民力为离宫，为吾结怨天下。”为了修建仁寿宫，杨素呕心沥血，殚精竭虑，本来想着隋文帝会大加赞赏，压根儿没想到会得到这样的评价，顿时感到一肚子委屈。
看到隋文帝火气很大，杨素委屈之余，更感到惶恐不已，害怕追加处罚。如今他不再奢求论功行赏，只求不丢官就是了。如何才能平息隋文帝心中的怒火，杨素一时没有良策，只好求教于封德彝。
封德彝以智识过人著称，最初为杨素的幕僚。一次，杨素召见封德彝。封德彝失足落水，被救起后，换了件衣服便去见杨素，绝口不提落水之事。杨素知道后问他原因，封德彝道：“这是私事，没有什么可说的。”杨素对此非常惊异，后来将自己的堂妹嫁给 封德彝。
封德彝头脑活，点子多，杨素经常和他商议事情，面对如此困局，封德彝为杨素出主意说：“公勿忧，俟皇后至，必有恩诏。”意思是杨素不要焦虑，等到独孤皇后来到后，便没事了。独孤皇后到了仁寿宫后，杨素第一时间前去拜见说：“帝王理当有一些行宫、别墅，现在天下太平，我们仅仅修造了这么一座宫殿，哪里就谈得上浪费了呢？”独孤皇后觉得也是，国家蒸蒸日上，修一座宫殿算不得什么。第二天，隋文帝召见杨素又说起此事，独孤皇后在旁边为杨素辩解：“杨公知道我们夫妇年老，没有地方娱乐，盛饰此宫，难道不是忠孝吗？”(www.xing528.com)
隋文帝最听夫人的话，几乎言听计从，听独孤皇后这么一说，先前的怒气全消，不仅没有处罚杨素，反而赐钱百万，锦绢三千缎。从此，杨素更得隋文帝的信任。
度过危机的杨素，最感激的人毫无疑问便是封德彝，正是他的锦囊妙计，使自己巧妙脱身，因祸得福。在他看来，封德彝真是料事如神，对此封德彝解释说：“皇上素来节俭，因此见到宫殿必然发怒，但是他最听皇后的话，而皇后又是妇道人家，喜欢华丽的东西，皇后感到高兴，那么皇帝自然就不会为难。”杨素听罢心里为封德彝点赞，表示自愧不如。从此将 封德彝视为心腹和头号智囊，经常与他谈论政务，还抚摸着自己的床说：“封郎必当据吾此座。”意为 封德彝将来一定能坐到自己这样的高位。为此杨素极力向隋文帝推荐，封德彝被提升为内史舍人。
杨广思来想去，觉得杨素能够成为可依靠的力量，问题是如何才能与杨素接上头，让他来支持自己呢？杨广将这个烦恼告诉了心腹寿州刺史宇文述。宇文述为其出谋划策道：“皇太子失爱已久，令德不闻于天下。大王仁孝著称，才能盖世，数经将领，深有大功。主上之与内宫，咸所钟爱，四海之望，实归于大王。然废立者，国家之大事，处人父子骨肉之间，诚非易谋也。然能移主上者，唯杨素耳。素之谋者，唯其弟约。述雅知约，请朝京师，与约相见，共图废立。”这段话除了拍马屁的成分外，透露了两个重要的信息。一是杨素确实是一个关键人物，是少数几个能说动皇上的人，要想夺嫡成功，必须争取杨素的支持。二是杨素最听弟弟杨约的话，只有杨约能劝说杨素，而自己认识杨约，可以去京城，拉杨约下水，请他助一臂之力。
杨广闻之大喜，全权委托宇文述去办这件事。如何才能将杨约拉下水呢？当然要利用他的弱点，杨约最大的毛病就一个字——贪。只要有短板，自然有搞定他的办法。宇文述到京后，约杨约吃饭喝酒，席间拿出一些世上罕见的珍奇宝玩，杨约见后眼睛都放光了，宇文述提出玩赌博游戏，乘机将这些珍玩输给了杨约。这搞得杨约很不好意思，于是回请宇文述吃饭，宇文述觉得时机已经成熟，坦诚地告诉杨约说：“这些珍宝都是晋王杨广所赐，为的是让您开心。”
杨约大吃一惊，这才意识到事情没那么简单，问道：“何为者？”晋王为何如此大方？言外之意肯定有什么事，而且不是小事情。宇文述觉得是时候和盘托出了，他说：“夫守正履道，固人臣之常致，反经合义，亦达者之令图。自古贤人君子，莫不与时消息，以避祸患。公之兄弟，功名盖世，当途用事，有年岁矣。朝臣为足下家所屈辱者，可胜数哉！又储宫以所欲不行，每切齿于执政。公虽自结于人主，而欲危公者固亦多矣。主上一旦弃群臣，公亦何以取庇？今皇太子失爱于皇后，主上素有废黜之心，此公所知也。今若请立晋王，在贤兄之口耳。诚能因此时建大功，王必镌铭于骨髓，斯则去累卵之危，成太山之安也。”
这段话的大意是，人臣之道，固然在于恪守本分，但也要与时俱进。打破常规以符合新的道义，不能不说不是明智之举。你们兄弟二人身居高位多年，肯定得罪了一些人，朝中不少大臣对你们有意见。太子因为一些事情也对您兄长杨素感到不满，虽然皇上很宠信你们，但暗地想搞倒你们的大有人在。如果哪一天皇上驾崩了，你们的好日子恐怕就要到头了。有没有办法自救呢？当然有，如今太子不讨皇后喜欢，皇上也有废立之心，这都是公开的秘密了。如今晋王是否能够成为新太子，就在于您兄长杨素是否能劝得动皇上。如果大事能成，晋王自然不会忘记你们兄弟二人的扶立之功，这样做不仅能消除隐患，还可以找到新的靠山。
宇文述来之前想必做了充分的准备，这番话逻辑性极强，层层深入，严丝合缝，滴水不漏，更重要的是他完全站在杨家兄弟的角度，为他们设身处地着想。杨约被深深打动，转过头就去找哥哥杨素，将宇文述的意思透露给兄长。杨素听后也觉得有理，抛除平时和杨勇关系一般这个因素，从另一个角度来看，如果杨勇即位，作为儿女亲家的高颎会继续得到重用，而自己将来如何便不好说了，如果能改立杨广，作为扶其上位的头号功臣，想必能踢开高颎，成为朝臣中的第一人。
杨素于是对杨约说：“吾之智思，殊不及也，赖汝起予。”这句话是夸奖弟弟的，说自己的心思尚未考虑到这些，幸好有杨约提醒。杨约见兄长愿意参与此事，进一步建言道：“今皇后之言，上无不用，宜因机会，早自结托，则匪唯长保荣禄，传祚子孙，又晋王倾身礼士，声名日盛，躬履节俭，有主上之风，以约料之，必能安天下。兄若迟疑，一旦有变，令太子用事，恐祸至无日矣。”这席话有三层意思，一是如今皇上最听皇后的话，想要成功，必须把独孤皇后拉进来，让她去说服皇上。二是杨广的日常表现证明，他完全可以成为一个不错的皇帝，所以他登上帝位后，天下不会大乱。三是这种事情要做就早做，如果拖得太久，情况发生变化，等到太子杨勇掌了权，灾祸很可能降临。
杨素觉得杨约说得都对，特别是第一点最为重要，他在朝中深知独孤皇后的巨大影响力，她说什么，隋文帝就会听什么，所以独孤皇后的态度是关键之所在。不过，杨素虽然听说独孤皇后喜欢杨广，对太子杨勇颇有微词，但是否有废立太子的心思，他心里没有底。所以决定找机会去摸清楚独孤皇后内心的真实想法。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
