謝公在東山，朝命屢降而不動。後出為桓宣武司馬，將發新亭，朝士鹹出瞻送。高靈時為中丞，亦往相祖。先時，多少飲酒，因倚如醉，戲曰：“卿屢違朝旨，高臥東山，諸人每相與言：‘安石不肯出，將如蒼生何？’今亦蒼生將如卿何？”謝笑而不答。

　　桓宣武表雲：“謝尚神懷挺率，少致民譽。”

　　王黃門兄弟三人俱詣謝公，子猷、子重多說俗事，子敬寒溫而已。既出，坐客問謝公：“向三賢孰愈？”謝公曰：“小者最勝。”客曰：“何以知之？”謝公曰：“吉人之辭寡，躁人之辭多，推此知之。”