时间一天天的过去，杨广即位已经到了第二年，蔡夫人的离去让杨广的心里曾经有过一种莫名的难过，紧接着，陈夫人也因为一场恶疾病故，杨广以陈夫人恶疾怕传染为由，将陈夫人的寝宫的门锁住，一把大火将侍候过陈夫人的太监宫女全部烧死在里面，晚上宫人走过原陈夫人的寝宫废墟时，总会听见里面有女子哭泣的声音，就是杨广晚上在别处寝宫歇息时也宗听到女子哭泣之声，为防鬼魂作祟，从全国请了数十名有名的道士和尚做法超度，又命礼部安排了对陈蔡二位夫人的祭祀后心里稍微平复了些，经历了这些事情之后，杨广的性格变得更加阴沉喜怒无常，连原先后宫最得宠的萧皇后除了正式的朝见外，杨广也不在皇后寝宫过夜，时常一个人呆在寝宫，皇帝虽然已经有了三位皇子，两位公主，可是作为皇帝，子嗣越多，皇权越稳，在萧皇后的主持下，全国各地进献的美女源源不断的送入到了宫中，在这些美女的簇拥下，杨广的脸色才慢慢的好转。但奢靡之风日进一日。有美女自然少不了歌舞，宫廷中的歌舞教坊每天乐声不断，杨广还不满足，下旨太常寺卿高熲招集原北齐、北周时期流落民间的乐工和民间的散乐。高熲想起杨广以前做太子、为藩王时那种恭谨简朴的模样，本着对杨广一片忠心的心思向杨广劝谏：
“陛下，原来的北齐、北周的乐工好召集，但前朝的乐曲都是亡国之音，废弛已久，如果再次召集演奏，恐怕于我朝社稷不利啊！”杨广对高熲本来就没有什么好感，即位之初启用高熲就是因为想让杨素有所顾忌，也是自古新君即位巩固皇权的一种手段，如今杨素已经死了，高熲的门面作用可有可无，还如此不识抬举，当年太子之争的旧怨又涌上了心头。
“高熲，你身为太常寺正卿，理应做好自己的事情，怎么，你以为你还是宰相吗？”高熲听到这话，感觉身后一股凉气直往外冒。赶快俯下身子想杨广请罪。
“陛下，臣失言了。请陛下恕罪！”看着高熲服下身子有些发抖，杨广的怒气稍微减少了些。
“行了，这件事情交由你去办，就当赎自己的罪了。”高熲还想拒绝，可看到杨广的脸色，只好磕头谢恩，回到太常寺。叫来属下官吏，传达了皇帝的圣旨，太常寺丞李懿对高熲说道：
“老相爷，如今民间百姓生活艰难，皇上还如此奢靡，您应该劝谏皇上多以百姓为重啊！”高熲痛苦的说道。
“北周时期，周宣帝喜好音乐，宫中歌舞不断，结果灭亡，这前朝故事没过多久，现在看来历史马上要重演了。”手下的下属官吏都摇着头叹息着出去了。虽然美女在怀，雅乐入耳，但杨广从来不是宅男性格，他的心里仍然还是装着功业。在运河还没有完工，而边关又传过来突厥的达头部落对长城时有袭扰，虽然依靠地势之利守住了关隘，但有些地方年代太过久远，城墙已经坍塌，不利于御敌，杨广下令，再调集大批民夫前往西部与北部边关重新修建长城，百官中有人劝说杨广运河还未完工，如果再修长城，恐怕会重蹈秦始皇使用民力不当的错误而灭亡，希望杨广开通大运河后再等三五十年再修长城。杨广大怒，怒斥百官：
“秦朝灭亡并非时使用民力不当，实是秦太监赵高弄权，逼死太子扶苏，扶立胡亥所致，朕在即位之初便已经立长子杨昭为太子，杨昭聪敏好学，有君子之风，深肖朕恭，日后比为我朝一代明主，另外运河修好之后再等三五十年，那我大隋子民又会被那突厥蛮夷掳掠多少，儿等只图眼前利益，不顾百姓死活，好似为国为民，实为自己的清誉。”杨广越说越气。在太子杨昭和皇后的劝慰下才慢慢安抚了自己的情绪。裴矩上前向杨广启奏道：
“启奏圣上，圣上所虑甚是，但古话说的好——敌人的敌人就是我们的朋友，臣听闻在我西部边关，达头部与吐谷浑多有冲突，臣请出使西域，拉拢吐谷浑为我大隋所用，即便吐谷浑没有打败达头，我们也可乘虚将河西故土重新归于我大隋治下。”杨广听到裴矩的奏议笑在心头。
“爱卿所言甚好！那就辛苦爱卿了，传旨兵部，多选好马，从京畿大营中挑选精壮兵士与爱卿随行护卫，朕在洛阳等爱卿的好消息。”
“臣领旨谢恩！”裴矩拜谢。裴矩到达西域后，先在甘州一代大力发展经济，招徕西域胡商。又多次深入吐谷浑的境内，通过多方谋划，拉拢在突厥达头部以北的高昌王麴伯雅、伊吾吐屯等入中原朝见杨广，对吐谷浑的商人也多有拉拢，加强吐谷浑对隋朝的经济依赖。又暗中派出秘密部队假扮盗匪杀掠达头与西域的交易商队，又在达头部落的境内暗杀掉吐谷浑的使臣。吐谷浑可汗慕容伏允大怒，引兵与达头交战，败退，为保住祖宗的基业，慕容伏允向杨广请求内附，杨广街道慕容伏允的请求后大喜，亲自带重兵进驻吐谷浑的领土，开拓河源、鄯善、西海、且末四郡，并让裴矩陪同慕容伏允一起到长安朝见。晚上，在行宫中，杨广召见裴矩：
“爱卿，这回吐谷浑内附，我大隋又辟地千里，爱卿居功至伟呀！”
“皇上，这全是您决策英明，又用人得当所致，若论功劳，陛下当属第一。”裴矩的恭维让杨广的帝王心理得到了空前的满足。看着杨广的脸色，裴矩又向杨广说道：
“皇上，臣还为皇上带了一件礼物。”
“哦！裴矩，你给朕带了什么礼物呀？”裴矩拍了拍手。两个太监抬进来一个大箱。裴矩打开后，杨广发现是一堆画卷图集，裴矩指着箱子说：
“陛下，微臣在甘州这段时间，多多接触西域胡商，派遣亲信组成秘密商队前往西域，穿过达头所部，共达大小二十七国，这里是他们所走路线及记载的各国风土风情，今日特来献与陛下，另外吐谷浑归附的消息我已经秘密传至各国胡商，相信不久西域三十六国的使臣就要来朝见陛下。”
“好啊！爱卿辛苦，居功至伟，这些图集朕就赐名《西域图记》，另外先升爱卿为尚书左丞，回到长安后，朕再行重赏。”杨广听到裴矩禀报后更是大为高兴。西域地面广阔，自从汉武帝死后，西域多次沦为胡族牧场，也是胡族入侵中原的基地，作为皇帝，杨广崇拜秦皇汉武的武功霸业，一心想成为继他们之后的英明君主，也是害怕如果不把西域控制在手里，日后恐怕会再次出现草原胡族入主中原的惨剧。
一个月后，西域来的使臣和君主来到了甘州朝见杨广，杨广很高兴，下令官府妥善安排君主和使臣的起居，长安留守大臣也发来奏则，说突厥突利可汗染干听说吐谷浑归附，要亲自到达长安朝见，歇息几天后，杨广带着慕容伏允及西域的君主使臣启程回京，并下旨长安、洛阳清理街道，修缮城墙，凡是乞讨人员一律清走，待车架回鸾之时，要清水泼街，黄土铺地，从府库里拿出大批彩缎丝绸做成鲜花彩带，挂在树上以示喜庆，长安洛阳得府库布帛彩锦用完还不够，两京所有的的客栈饭庄全部接到通知，在皇上回鸾之时客人吃饭饮酒一律不得收钱，如若客人问起，就说中原富庶，酒饭一律不收钱，任吃，外国君主使臣来到商铺买物品，一律奉送，叫卖货物，高价收购。文武百官，富商贵族一律得穿丝绸锦缎得衣服，违者定斩。这一道道圣旨下来，朝中百官心中叫苦连天，因为由于杨广的穷兵黩武，大兴土木，使长安、洛阳世家大臣的田地荒芜薄收，各大世家收入大减不算，长安洛阳的饭庄、客栈商铺大都是大臣世家的亲族管事，可皇帝下旨后，外国君主使臣在酒楼饭庄大吃大喝不算，还在商铺中多强卖索取，殴打伙计、打砸商铺的事情经常发生，但谁也不敢在杨广面前提及，只得私下议论。而以高昌王麴伯雅和突厥突利可汗为首的外族君主为了得到更多的赏赐和利益，高呼杨广为天可汗，对杨广恭声相迎，称呼隋朝为天朝，杨广大为高兴，赐给了他们大批的金银珠宝，大隋国库库藏基本耗尽，百官的俸禄只得暂时拖欠。地方官员借故违法受贿，贪污卖法之事时常发生，地方上逃夫结成响马匪帮，占山为王打家劫舍的事情经常在来长安洛阳办事的地方官员口中传播，不敢向杨广汇报，杨广也一直沉浸在自己的天朝盛世梦里，高熲看在眼里，心中更是痛苦。一日，观王杨雄过生日，高熲来到了杨雄的府中。看到杨雄只摆了一桌宴席，落座的就只有贺若弼、宇文弼和太府卿何稠等人。
“王爷，您的生日为何如此寒酸啊！”杨雄当年帮助杨坚簒夺北周皇位，立下大功，与高熲、苏威、杨素等人合称四贵，手握重权，但在杨坚晚年受到猜忌，提升为司空虚职，却被夺去权柄，不准参朝议政，杨广即位后，怕皇权旁落，对皇室宗亲更加提防，所以杨雄干脆把官职辞去，赋闲在家。
“哦！现而今百姓危难，若是大肆铺张，恐怕招人非议呀！”大家知道杨雄有难言之隐，皆低头不说话，杨雄怕气氛沉闷，频频向大家敬酒，喝了几杯后，在坐的几个人都有了些醉意，脸色有些微红，话就开始多了。
“哎！当今皇上以奸谋夺嫡，又向往秦始皇的功业，穷兵黩武，大兴土木，爱好奢靡，百姓流离失所，又对外族大肆笼络浮夸，为了赏赐西域使臣和吐谷浑、突厥的可汗，竟然把我大隋府库给掏空了，我大隋虽然看似强盛，但危机重重，尤其是突厥突利可汗，我听说他从北地来洛阳、长安的时候不坐车马，一路步行，看来他是在探查我朝的关隘驻军情况，另外长安、洛阳虽然净街，可其他地方呢？那个突厥蛮夷难道是傻子瞎子吗？他不会看。还有停发百官俸禄，很多大臣是不在乎那点俸禄，却以养家糊口为名大肆贪污卖法，朝无纲纪，若是在先皇之时。。。。。。”听到高熲的话，杨雄赶快捂住了高熲的嘴巴。
“老相国，慎言啊！”高熲也意识到自己的话有些多了，大家继续灌酒，酒宴结束后，杨雄回到卧房，思索这高熲的话。“高熲老诚谋国，是个忠臣，可当年先皇都容不下他，他跟杨广又有旧怨，杨广虽然表面对他恩礼有加，实际上却只是拿他当个门面，现在他的皇权已经巩固，高熲恐怕。。。。。。算了，我还是去向皇上说明，希望到时不要把我牵连进去。”想到这里，杨雄命令下人安排马车，他连夜进宫，太监把他引到杨广面前的时候，看到太常丞李懿、太府卿何稠也在，他慢慢的明白了。
第二日早朝，杨广在群臣山呼万岁后先把高熲叫了出来。
“高熲。”
“臣在！”
“听说你最近下朝后经常跟别人说朕重奢靡，好酒色，是桀纣之君是吗？”
“陛下，臣没有，臣冤枉啊！”
“哼！冤枉！李懿、何稠、杨雄，把你们听到的都说出来吧！”当杨雄等三人出来把高熲的一些言论说了之后，高熲心中明白了大半。
“哼！高熲！朕念你是前朝老臣，启用你为太常卿，你却不思报效，旺议朝政，来人啊！将高熲打入死牢，择日问斩，家产充公，诸子流放边疆！”听到杨广下旨，贺若弼、宇文弼赶快出来求情。
“皇上，高大人是先皇老臣，我大隋的开国元勋，望皇上开恩啊！”
“陛下，高老相国对皇家忠心耿耿，绝对不会说出这种话，还望陛下让有司详查，千万不要枉杀老臣。”昔日，贺若弼、宇文弼等人与杨勇的关系深厚，是杨勇的铁杆支持者，杨广一直都想除之而后快，如今替高熲求情正中杨广的下怀。
“好啊！你们平日结党营私，现在又旺议朝政，诽谤圣君，朕今天就把你们一锅端了，来人啊！将贺若弼、宇文弼拿下，与高熲一起问斩，朕倒要看看，以后还有谁敢诽谤圣君。就都是这样的下场。”百官看了高熲和贺若弼等人的下场，都低头不语，从此再也没有人在杨广面前直言进谏，百官对杨广皆都奉承。李建成在看到高熲、贺若弼悬挂在城楼的人头，心想杨广这是在自断双臂，高熲、贺若弼是真心实意为大隋，并且对那些世家大族的官员们是一种威慑，现在他们死了，世家大族就会没有什么顾忌，而且现在大隋如同在一堆干柴上，大乱一触即发，到时谁会真心为杨广出力。杨广，你这是自寻死路啊！