只好将他罢去。惟窦氏兄弟，引为大恨，不过因袁安、任隗两人，素负重望，未敢中伤。还想顾全名誉，未可厚非。

河南尹王调，洛阳令李阜，谄媚窦氏，得捞禄位，上任后举动自由，却被尚书仆射乐恢，上书奏弹。窦瓌闻知，欲替二人说情，前往问候乐恢，乐恢竟拒绝不见，窦瓌怏怏不乐回车。乐恢妻子从旁劝谏道：“古人尝容身避害，何必多言取祸？”

乐恢叹急道：“我在朝为官，怎忍素餐？非但王李二人，不宜轻纵，就是窦氏一家，我亦要直言纠弹呢！”说着，因复上疏抗谏道：

臣闻百王之失，皆由权移于下，大臣持国，常以势盛为咎。伏念先帝圣德未永，早弃万国，陛下富于春秋，纂成大业，诸舅不宜干正王室，以示天下之私！《经》曰：“天地乖迕，众物夭伤；君臣失序，万人受殃；政失不救，其极不测。”方今之宜，上以义自割，下以谦自引，则四舅可保爵土之荣，皇太后永无惭负宗庙之忧，诚策之上者也！

试想，窦太后方宠任兄弟，怎肯为了乐恢一疏，便将他权位削去。乐恢待了数日，不见批答，于是再称病乞休。窦太后诏令太医视疾，乐恢遽称疾笃，另荐任城人郭均，成阳人高凤为代职。偏偏又有诏令为骑都尉，乐恢复上疏辞谢道：

臣受国厚恩，无以报效。夫政在大夫，孔子所嫉；世卿持权，《春秋》所戒。圣人恳恻，不虚言也。近世外戚富贵，必有骄溢之败。今陛下思慕山陵，未遑政事，诸舅宠盛，权行四方，若不能自损，诛罚必加。臣寿命垂尽，临死竭愚，唯蒙留神！

这奏书呈将进去，竟邀得批准，听还印绶，乐恢乃缴印归里。他本京兆长陵人，幼有孝行，他的父亲是县里的小吏，得罪了县令，县令拘禁了他，准备把他杀了。乐恢十一岁，常常伏在官署门前，白天黑夜号哭。县令听到这个消息，很是同情他，于是就放出了他的父亲。

乐恢年纪渐长，喜好经学，跟随博士焦永学习。焦永做了河东太守，乐恢跟随他到了官府，他闭门精心诵读，不与外界人物交往。后来，焦永因事被劾查，其他弟子都因为替焦永疏通关系被拘禁，惟独乐恢保持自己的清白而不玷污法律，于是矢志成为有名的儒生。性情廉洁正直，孤高独立，那些品行不与自己相投合的人，即使尊贵也不肯与他们交往。信阳侯暗中接近乐恢，多次送礼请乐恢，乐恢拒绝他，不予应答。

同郡的杨政多次当众诋毁乐恢，后来乐恢举荐了杨政的儿子做了孝廉，因此乡里的人都归附他。

乐恢被征辟