便想处置钩弋夫人，故意寻隙加以谴责，钩弋夫人连忙脱簪谢罪，汉武帝竟翻转脸色，叱令左右侍女，把她牵扯出去，送入掖庭狱中。钩弋夫人入宫以后，从未经过这般委屈，此时好似晴天霹雳，出人意外，不由的珠泪盈眶，频频回顾。

汉武帝见她愁眉泪眼，也觉可怜，不得已扬声催促道：“去去！汝休想再活了！”

实是奇想。钩弋夫人还欲再言，已被侍女牵出，送交狱中，是夕即下诏赐死。

而北魏屡有此例，不意自汉武帝作俑。一代红颜，无端受戮，只落得一杯黄土。

据说钩弋夫人被汉武帝赐死，出殡以后，尸体不发臭，并且散发香气，香气飘到十多里外。于是把她安葬在云陵，汉武帝哀悼她。汉武帝又怀疑她不是普通的人，就掘墓开棺来看，结果棺里是空的，没有尸体，只留下一双鞋子。或谓钩弋夫人尸解成仙，无非是可惜她是枉死，故有是说。

钩弋夫人去世后，汉武帝思念她，便在甘泉宫修建了一座通灵台。之后常有一只青鸟飞来，在台上栖息徘徊。

钩弋夫人赵氏死后，汉武帝在清闲无事时询问身边的人，说：“人们对赵氏之死有什么看法。”

左右人回答说：“人们说将要立她的儿子，为什么除去他的母亲？”汉武帝说：“对。这不是一般儿辈愚人所能懂得的。从古到今国家起内乱的原因，是因为人主年小而母亲年壮。女主人独断骄横，淫荡放肆，没有人能阻止她。你们没听说过吕后的故事吗？”

左右之人听了，方才无言。

又过了一年，汉武帝因春日闲暇，就赴五柞宫游览，宫有五柞树，荫复数亩，故以名宫。

汉武帝流连景色，一住数日，不料风寒砭骨，病入膏肓，遂致长卧不起，无力回宫。

霍光随侍在侧，流涕启问道：“陛下倘有不讳，究立何人为嗣？”

汉武帝闻言，答道：“君未知前日画意么？我已决立少子，君行周公事便了。”

霍光顿首道：“臣不如金日磾。”

金日磾当时亦在皇帝旁边，于是应声道：“臣是外国人，若辅幼主，徒使外人看轻，不如霍光远甚。”

汉武帝道：“汝两人素性忠纯，朕所深知，俱当听我顾命。”

二人方才退下，汉武帝又想朝上大臣，除丞相田千秋，御史大夫桑弘羊外，尚有太仆上官桀，颇可亲信，亦当令他辅政。乃便令侍臣草诏，翌日颁出，立刘弗陵为皇太子，进霍光为大司马大将军，金日磾为车骑将军