无及，就使没有甚么大罪，到此已玉石不分，无从辩诉。冤冤相凑，又出了一种杀人的巨案。

从前刘玄败没，光武帝曾封刘玄之子刘鲤为寿光侯。刘玄之子刘鲤记念父仇，迁怨于刘盆子兄弟，因将刘盆子之兄故式侯刘恭，乘间刺死。刘鲤与沛王辅友善，案情且连及沛王。故刘鲤坐罪下狱，沛王亦一同被系。

光武帝刘秀恨上加恨，遂将王肃父子，并诸王宾客，相率处死。沛王系狱三日，经王侯等力为救请，才得释出，乃一并遣令归国，不得仍留京师。诸王奉诏，不得不入朝辞行，分道去讫。

皇太子刘庄，春秋渐高，留居东宫，光武帝刘秀欲为选师傅，辅导储君，因此向群臣咨问，令他各举所知，太子刘庄之舅阴识，已受封原鹿侯，官拜执金吾，群臣俱上言太子师傅，莫如阴侯。独博士张佚进说道：“今陛下册立太子，究竟为天下起见呢？还是为阴氏起见呢？为阴氏起见，阴侯原可为太子师傅；若为天下起见，应该选用天下贤才，不宜专用私亲！”

光武帝刘秀听了张佚所言，点头称善，且顾语张佚道：“欲为太子置师傅，正欲储养君德，为天下计；今博士且能正朕，况太子呢？”

当下拜张佚为太子太傅，张佚直任不辞，受职而退。还有太子少傅一职位有缺，另外选任博士桓荣，各赐辎车乘马等物。

桓荣沛郡人，资望比张佚为优，桓荣是齐桓公的后代，以齐桓公的“桓”为氏，其祖先迁居龙亢县，到桓荣这里已有六代。桓荣少年时在长安学习《欧阳尚书》，拜九江郡人朱普为师，他家中贫困，常靠佣工养活自己，精力不倦，十五年没有回家探视，到权臣王莽篡位时才回去。恰逢朱普去世，桓荣到九江郡奔丧，自己背着土为老师筑坟，于是留下来教学，徒众达几百人。

地皇四年（23年），新莽灭亡，当时天下大乱，桓荣抱着经书与学生一道逃入山谷之中，虽然常饥饿，但讲经论卷不止，后来又在江淮一带教学。

建武十九年（43年），已经六十多岁的桓荣终于得到大司徒府的征辟。当时东海王刘庄刚被立为太子，光武帝刘秀选求通晓经籍之人，于是提升桓荣的学生豫章人何汤任虎贲中郎将，用《尚书》教太子。刘秀从容问何汤的老师是谁，何汤答道：“沛国桓荣。”光武帝刘秀即召桓荣，命他讲解《尚书》，光武帝刘秀觉得桓荣说的很好。便授任桓荣为议郎，赐钱十万，让他入宫教太子。每到朝会时，常让桓荣在公卿面前讲解经书。

光武帝刘秀称赞道：“得到先生太晚了！”