却说太子杨广诈谋百出，构陷兄弟，全亏杨素一力帮助，因得如愿。

杨素一门亦权势日盛，兄弟宗亲都位列公卿，几个儿子虽然没有什么汗马功劳，却都大多官至柱国、刺史，荣耀无比。杨素家里有仆人几千人，后院里披罗挂绮的乐妓小妾就以千计。府第华丽奢侈，规模体制摹仿皇宫，连外国进贡来的金精盘，隋文帝都亲手赐给了他。朝右诸臣，莫不畏附。

惟尚书右丞相李纲及大理卿梁毗，正直不阿，与杨素异趋。毗且上书弹劾杨素，说他：“权势日隆，威焰无比，所私无忠谠，所进皆亲戚，子弟布列，兼州连县，天下无事，容息异图，四海有虞，必为祸始。陛下以素为阿衡，臣恐他心同莽懿，伏愿揆鉴古今，量为处置，使得鸿基永固，率土幸甚！”

隋文帝杨坚阅览奏表之后，登时大怒，立刻下令让人收押梁毗，系入监狱，亲自加以审问。

梁毗毫不畏缩，且极言：“素擅宠弄权，杀戮无道，太子及蜀王得罪遭废，臣僚无不震悚，独素扬眉奋肘，喜见颜色，利灾乐祸，不问可知。”

隋文帝杨坚听到此语，不由的忆念二子，发现天性，暗暗的吞声饮泪，不愿再鞫，于是命梁毗还系关在狱中，越日，传敕赦免梁毗。

隋文帝嗣又诏谕杨素道：“仆射系国家宰辅，不应躬亲细务，但阅三五日，一至省中，评论大事，便为尽职”等语。

隋文帝又出杨约为伊州刺史。杨素知道隋文帝暗中心怀猜忌，更是感到不自安；又见吏部尚书柳述，进参机密，得握政权，尤甚感觉得心如芒刺，愤闷不平。好与杨广同谋弑逆了。

先是隋文帝的第五女儿兰陵公主，下嫁仪同王奉孝，奉孝早世，公主年才十八岁，隋文帝欲令她改嫁，晋王杨广因妻弟萧瑀正在择配，拟请将公主嫁省Ｆ偏是乃父不从，令适内史柳述。

隋文帝最爱此女，更听闻她敬事舅姑，力循妇道，益加感到欣慰，遂累擢升柳述至吏部尚书。

杨广既为太子，与柳述之间未协，并见柳述徼得圣宠，能得干预朝政，越发感觉心下生嫌，再加杨素亦常叹憾柳述，眼见是虎狼在侧，怎得相安？

当时龙门人王通，具有道艺，讲学河汾间，门徒甚众，目睹朝政日非，孽子权臣，互为表里，料知祸乱不远，因诣阙上书，胪陈太平十二策。

隋文帝不能采用，通即拟告归。

杨素夙来仰慕王通之名，留王通至第，劝他出仕。

王通答道：“通尚有先人敝庐，足庇风雨，