谢灵运每次和宋文帝刘义隆在一起喝酒时，宋文帝刘义隆不过让他谈论诗文而已。王昙首、王华、殷景仁等人，名声和爵位一直在他之下，却同时被宠待，谢灵运心中不满，往往推说自己有病而不上朝，只管修筑池塘、种植花树、移栽修竹、摆弄香草而已，并且无休止地让衙门里的劳役服务于他个人。出城游玩，有时一天走一百六七十里，往往一走就是十多天，既不上书请示，也不请假。宋文帝见此情形想将其免职，但又不想直接下旨将其免职让他颜面丧尽，便暗示他主动辞官。谢灵运于是上表称自己有病，皇帝刘义隆让他休假回家乡休养。他临行之前，又上了一道奏疏劝宋文帝刘义隆趁着北魏太武帝拓跋焘西征胡夏国的时机，夺取河北。宋文帝刘义隆不从。

族父谢方明，为会稽太守，谢灵运即往省视，与谢方明之子谢惠连相见，大加赏识。又与东海人何长瑜，颍川人荀雍，泰山人羊璇之，诗酒倡和，联为知交，惠连亦得与列，称为四友。谢氏本为名族，谢灵运得先世遗资，畜养僮奴数百人，又得门生数百，同游山泽间，穷幽极险，伐木开径，百姓惊扰，目为山贼。可巧会稽太守，换了一个新任官，叫作孟顗，孟顗迷信佛教，谢灵运独面讽道：“得道须慧业文人，公生天当在灵运前，成佛必在灵运后。”

孟顗闻言，心中结仇，深恨此言，遂与谢灵运有隙，于是向朝廷上书奏弹告讦说谢灵运想谋反并私自调用本郡军队防守自卫。谢灵运原是多嘴，孟顗亦觉逞刁。

谢灵运听说此事，连忙飞骑进京上书自讼：

“微臣归家养病至今已三年，平日远离城郭居住，鲜与世人打交道，多呆在偏僻的穷山岩洞之间，几乎中断了和外界的联系。我只想修身养性，平静过完余生。然而，上月二十八日我突然得知会稽太守孟顗上疏弹劾我谋反的不实之语，深感惊异，不知他为何要这样讲，便急忙回到京城面见皇上您并解释清楚。在来的路上，当我经过山阴城时，孟顗全城设防，兵马严阵以待，大街小巷密探遍布。微臣真的不知犯有何罪，竟会被如此防范，现在的我无时无刻不处于恐惧之中。臣下当年曾有幸做过皇上的侍臣，蒙受天恩，如果有确凿证据证明我背叛圣上、大逆不道，我心甘情愿意被判处死刑，以正国法。使普天之下，也不能有我立脚的地方。

现在只以谣言作为我的罪证，这是多么残酷啊！自古以来，圣贤们也免不了被诽谤，但是招致诽谤，还是有原因的。或者不怕死亡重视义气，或者结党聚众，或者称雄乡里，或者当剑客侠士，纵横无忌。还从未