桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　孫長樂作王長史誄雲：“余與夫子，交非勢利，心猶澄水，同此玄味。”王孝伯見曰：“才士不遜，亡祖何至與此人周旋！”

　　謝安南免吏部尚書還東，謝太傅赴桓公司馬出西，相遇破岡。既當遠別，遂停三日共語。太傅欲慰其失官，安南輒引以它端。雖信宿中塗，竟不言及此事。太傅深恨在心未盡，謂同舟曰：“謝奉故是奇士。”