到司空牟融的府中。正赶上蜀郡太守第五伦代替牟融做司空，乐恢因为与第五伦是同乡，乐恢不肯留下来，在举荐了颍川杜安之后辞去官职。许多人都称赞他的行为，朝廷接连几次征召他，他都没有答应。

乐恢征召做了议郎。正赶上车骑将军窦宪要出征匈奴，乐恢多次上书劝谏力争，朝廷称道他的忠心。入朝后又担任尚书仆射。这时，河南尹王调、洛阳令李阜和窦宪关系密切，放纵家人胡作非为。乐恢弹劾王调、李阜以及司隶校尉。众多指责、荐举的事实，令他们无法回答，无从逃避，显贵的外戚们非常厌恶他。

窦宪的弟弟夏阳侯窦瑰想要问候乐恢，乐恢谢绝了他，不与他交往。窦宪兄弟两个行为放纵，又愤恨乐恢不依附自己。妻子常常劝谏乐恢说：“古人有保全自身躲避灾祸（的说法），你何必用自己的言论来招致别人的怨恨呢？”乐恢慨叹地说：“我怎么能够容忍朝廷中那些尸位素餐之人呢？”于是上书劝谏说：“我听说众多帝王的过失，都是由于权力下移造成的。国舅们不应该干预王室的政务，以此显示天下是个人的天下。政治有了过失，如果不加补救，其结果不可预测。当今应该做的，帝王应以大义为重，断绝这种联系，国舅应以谦逊为主自我反思。”上书没有得到朝廷回复。

此时，窦太后临朝，汉和帝因为年幼没有亲政，乐恢因为主张没有能够施行，于是称病回乡。

偏偏因直言遭谴，免官还乡。更可恨的是大将军窦宪，怨恨乐恢不休，又嘱托京兆尹严加管束，不使自由。京兆尹希承窦宪之旨，越觉得狐假虎威，督饬吏属，时常去监视观察乐恢。乐恢虽然居住在家中，仿佛在监狱里无二，不由的郁愤填胸，仰药自尽。

乐恢死后，门下弟子俱同前往吊丧，缞绖送葬，不下数百人；就是乡闾百姓，无不衔哀。惟窦宪前杀郅寿，后杀乐恢，威焰逼人，炙手可热，还有何人不顾生死，再去老虎头上搔痒？窦氏得势，便愈加骄横，兄弟四家，竞营台榭，穷极土木。窦笃且得加位特进，窦景迁官执金吾，窦瓌升授光禄勋，盘踞内外，倾动京师。窦瓌少读经书，尚知收敛规范，窦笃与窦景并皆恣肆妄为，窦景且为尤甚。

汉制执金吾属下，向有缇骑二百人，窦景尚嫌不足，加入家僮门役。游行都市，看见都市门店里有珍宝玩物，就强行夺取，不给价钱。民间妇女，具有姿色，便勒令送入府中，作为妾媵；倘若不从，即将家属硬行扳诬，充作罪犯。甚至僮仆等亦贪财渔色，相率效尤，强取人物，霸占民妇，不可胜计。