赋诗道：“六国多雄士，正始出风流。”他这是自知军事武功不及刘裕，便故意显示自己文雅有余。后来在宰相府里聚众樗蒲赌博，一次判定输赢可达数百万钱，其余人都只掷出黑犊就退下阵去，惟有刘裕及刘毅仍在场上较量。刘毅依次掷出白雉，大喜，提起衣服绕过胡床，叫着对同座说：“ 不是不能掷得卢，不想如此罢了。”

刘裕讨厌他的轻薄，便两手抓起五枚色子揉搓了好久，说：“老兄尝试为你作答。”一会儿四枚色子都以黑面呈现，另一枚色子跳转不定，刘裕厉声吆喝，五枚色子俱黑成卢。刘毅心中十分不快，但向来皮黑，其面如铁色，而竟勉强自己和言对刘裕道:“ 我本知道明公不会就此相让!”出镇西藩后，虽然占据上流，享有统辖荆州大权，但朝内所有职权顿时失却，于是又颇为忌恨不满，因此打算扩充自己势力，伺机打垮刘裕，终于招致失败。

当初，江州刺史庾悦，隆安年间为司徒长史，曾到过京口。刘毅当时十分穷困贫寒，到庾悦府上借用东堂与亲友习射其中。而庾悦后来与同僚佐吏径直来到东堂，刘毅告诉他说:“刘毅困顿之人，会集一处习射游戏非常艰难。足下到其他堂房都行，希望今日务必将东堂让我借用。”庾悦不答应。习射者都走散离去，只有刘毅停留不走习射如故。以后庾悦吃鹅，刘毅请求得到未吃完之鹅,庾悦又不予理睬，刘毅因此常常怨恨，怀恨在心。义熙年间刘毅故意夺取庾悦的豫章郡，解散其军府，派人向庾悦表露他的用心，庾悦气愤忧惧而死。刘毅就是如此器量狭小性情浮躁。

刘裕在朝览表，一一允行，将军胡藩对刘裕说道：“公谓刘将军终为公屈么？”

刘裕沈吟半晌，方才说道：“卿意如何？”

胡藩答道：“统百万雄师，战必胜，攻必取，刘毅原愧不如公，若涉猎传记，一谈一咏，却自命为豪雄。近见搢绅文士，多半归附，恐未必终为公下！”

刘裕微笑道：“我与刘毅协同规复，功不可忘，过尚未着，怎得无故害人？”仿佛郑庄之待叔段。胡藩默然趋出。

刘裕复因刘藩讨伐逆党有功，擢任兖州刺史，出镇广陵。这个时候，刘毅在任遇疾，郗僧施劝刘毅上表，乞请调任刘藩为副帅。刘毅依言表闻，刘裕始有心防备刘毅，佯装依从刘毅之所请，召刘藩入朝。

而刘藩自广陵入京都，甫至阙下，即由刘裕饬令卫士，收捕刘藩下狱。

然后并向朝廷上请诏书，诬称刘毅兄弟，与仆射谢混，共谋不轨，立命一并把谢混拿下，与刘藩同