立太子之事，高颎又提出长幼伦序，对答隋文帝。

于是隋文帝益加怀疑高颎有私心，拟加谴谪。

隋文帝又回忆及王世积一案，再加复验。有司希旨锻炼，谓高颎实有通叛情事，乃即罢隋左仆射，以公爵就第。

先是汉王杨谅东伐高丽，曾经令高颎为长史，面加重托。

杨谅年少任气，与高颎言多不合意，遂致无功而归。杨谅入见独孤后道：“儿幸免为高颎所杀。”

独孤后原记在心中，杨谅亦怀恨不休，常欲置高颎死地。

还有晋王杨广为张丽华被杀一事，又挟嫌怨恨高颎，为此种种积仇，遂暗中唆使高颎吏上书，讦发高颎私事，诬称高颎之子表仁，劝慰乃父，谓：“司马仲达，尝托疾不朝，卒有天下，父今遇此，安知非福”等语。

隋文帝得书大怒，遂拘拿高颎至内史省，备加讯鞫。

法司按不得实，反捏报他事，谓：“沙门真觉，曾语颎云，明年国有大丧，尼令晖亦与颎言，皇帝将有大厄，十九年恐不可过。”

隋文帝益怒，顾语群臣道：“帝王岂可力求？孔子为古来大圣人，作法垂世，岂不欲有天下？但天命未归，只好作罢了。”孔子岂肯效法篡逆么？

有司请即诛颎，隋文帝复叹道：“去年杀虞庆则，今年斩王世积，若更诛颎，天下总道我残害功臣了。”乃褫颎爵邑，除名为民。

高颎有老母，曾经告诫高颎道：“汝富贵已极，但欠一斫头呢，奈何不慎？”

高颎既被黜，回忆母言，尚自幸不死，倒也没有恨色。

哪知生死有命，后来终难免一刀，这且慢表。

且说晋王杨广听闻高颎免官，又少了一个对头，自思储君一席，此时不夺，更待何时？

但一时也想不出妙计，默思安州总管宇文述，足智多谋，何不将他奏调过来，好与他秘密商量。

杨广当下写定一表，奏调宇文述为寿州刺史。

隋文帝怎识杨广的秘谋，便即批准。

宇文述受调南来，顺道谒见杨广。

杨广殷勤款待，向宇文述问计。

宇文述答道：“皇太子失爱已久，令德仁闻，无一可及大王，将来入承正统，舍王为谁？但废立大事，实不易言，大王虽经二圣宠爱，究竟事关重大，未便遽移，必须有一亲信大臣，从中怂恿，方可成功。”

杨广闻言，皱眉道：“亲信大臣，莫如杨素，但恐他不肯助我，奈何？”