为人笃厚谨慎，有气节，为此待遇日隆。真是难得有此好胡儿！一些人都巴不得攀附皇帝，让女儿入后宫服侍皇帝，偏偏金日磾如此。不过也是，身为一个端正的父亲，怎么会为了自己利益，问都没有问就把自己女儿嫁一个七十来岁的老年人，哪怕是皇帝。也难怪汉武帝会认为他的行为特别奇异少见，但是也因此汉武帝刘彻特别看重他。

只是汉武帝遭马何罗谋反刺杀案一吓，愈发觉得心绪不宁，自思太子刘据死后，尚未立储，一旦自己驾崩，何人继位？膝下尚有三男，不若少子刘弗陵，体伟姿聪，与自己相类；不过年尚幼稚，其母钩弋夫人，又正值青年，将来子得为帝，必思干政，恐不免为吕后第二。想来想去，只有先择一大臣，交付托孤重任，眼前惟有霍光、金日磾两人，忠厚老成，可属大事。但金日磾终究是匈奴胡人出身，不足于服众，不如授意霍光，叫他预知。

于是汉武帝特使黄门，绘成一图，赐与霍光。

霍光，字子孟，河东郡平阳县（今山西省临汾市）人。是大司马霍去病之异母弟。

霍光的父亲名叫霍仲孺，后元三年（前141年）前后，以县中小吏身份被派到平阳侯家服役。霍仲孺和平阳侯府中侍女卫媪之女卫少儿私通生下一子霍去病。霍仲孺后返家，另娶妻子，生下霍光，和卫少儿不再来往。

元狩二年（前121年），霍去病被拜为骠骑将军，在出击匈奴的途中，被河东太守出迎至平阳侯国的传舍，并派人请来霍仲孺与之父子相见。霍去病替霍仲孺大量购买田地房屋和奴婢后离去。霍去病此次出征凯旋时，再次拜访霍仲孺，并将异母弟弟霍光一起带到长安照顾。霍光当时年仅十多岁，在霍去病的帮助下，先任郎官，随后迁任各曹官、侍中等。

元狩六年（前117年），霍去病去世。霍光升任奉车都尉、光禄大夫等职位，侍奉汉武帝左右，前后出入宫禁二十多年，小心谨慎，未曾犯一次错误，因此得到汉武帝的信任。

时，征和二年（前91年），卫戾太子刘据被江充以巫蛊之祸逼死后，汉武帝决定立钩弋夫人之子刘弗陵为储君，并在仔细观察后，认为只有霍光能够担负托孤重任。一次，汉武帝令黄门画工绘《周公辅成王朝诸侯图》赐给霍光，暗示他准备辅政。

霍光蒙赐图画，拜受回家，展开一览，是周公负扆辅成王朝诸侯图，即揣知汉武帝微意。图既不便奉还，且领受了再说。

汉武帝见霍光受图退去，不复再请，当然欣慰。

第二日，汉武帝