謝太傅盤桓東山時，與孫興公諸人泛海戲。風起浪湧，孫、王諸人色並遽，便唱使還。太傅神情方王，吟嘯不言。舟人以公貌閑意說，猶去不止。既風轉急，浪猛，諸人皆諠動不坐。公徐雲：“如此，將無歸！”眾人即承響而回。於是審其量，足以鎮安朝野。

　　簡文目庾赤玉：“省率治除。”謝仁祖雲：“庾赤玉胸中無宿物。”

　　桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。