官员上疏认为谢安被朝廷征召，历年不应，应该禁锢终身，谢安便放浪于东部的名胜之地。

谢安曾到临安山，坐在石洞里，面对深谷，悠然叹道：“此般情致与伯夷有何区别！”又曾与名士孙绰等人泛舟大海，风起浪涌，众人十分惊恐，谢安却吟啸自若。船夫因为谢安高兴，照旧驾船漫游。风浪转大，谢安慢慢说：“如此大风我们将如何返回呢？”船夫听从吩咐立即驾船返航。众人无不钦佩谢安宽宏镇定的气度。谢安虽然纵情于山水，但每次游赏，总是携带歌女同行。

谢安虽然屡屡不愿出山，但当时执政的会稽王司马昱说：“安石既然能与人同乐，也必定能与人同忧，再征召他，他肯定会应召。”

安石就是谢安的小字。

当时，谢安的弟弟谢万任西中郎将、豫州刺史，担负守边的重任。谢安虽然隐遁山林，但其名声超过了谢万，有任宰辅的声望。他平素常常用礼节来教导子弟。

谢安之妻刘氏，为丹阳尹刘惔之妹，见伯叔多半富贵，独谢安隐居不仕，常语安道：“大丈夫当不若是呢。”妇人终难免势利。

谢安掩鼻道：“卿所见未能免俗，岂丈夫定要富贵么？”及谢万已然褫职，门第减色。

谢安年已四十余，免不得顾虑家门，转思仕进。君亦未能免俗了。

可巧征西大将军桓温，上表奏请朝廷征辟谢安为征西司马，朝旨立即召传谢安。谢安便来到都中。自新亭启行，朝士多往饯送，中丞高崧戏语道：“卿累违朝旨，高卧东山，诸人互相私议，谓安石不出，如苍生何？苍生今亦将如卿何？”说毕大笑。

谢安被他一嘲笑，也不禁惭愧起来，勉强支吾，终席即去。

谢安既到江陵，与桓温相见，谈笑竟日，甚惬桓温心意。及谢安趋出，桓温问左右道：“汝等曾见有如此佳客否？”嗣桓温有事访谢安，至谢安居室，谢安适早起理发，久不出见。

桓温在外坐待，始闻室内有人传呼，令人取帻。桓温即朗声道：“不必，不必，请司马即戴便帽，就好相见了。”

谢安依言面见桓温，坦然与语，取决如流。桓温满意乃去。晋朝廷复起用谢万为散骑常侍，谢万受职未久，便即病死。

谢安本不欲随桓温，无非借桓温干进，暂作过渡思想。及谢万已经去世，遂假弟丧为名，投笺求归。

桓温准令谢安返家治丧，谢安此后不复到桓温之处。寻由朝廷授为吴兴太守，便一麾赴郡去了。

升平五年五月，晋穆