桓温与此人本关系亲密，可后来桓温见到此人就跑，桓温老婆很开心
桓温在徐州做刺史的时候，谢奕是晋陵太守。徐州和晋陵相隔不远，但这二位名人却没什么特殊的交情，不过是年节来往、公文交接之类的事情。等到桓温出任荆州刺史，准备西行的时候，两人的关系却好了起来，桓温时不时地跑去和谢奕聊天喝酒话家常，谢奕也会很客气地招待。
谈笑间，时间过得很快，连谢奕自己都不知道怎么回事，两人感情就好了起来，就像多年的朋友一样。要走了，表示一下亲密，这在东晋名士辈出的大环境下很正常。何况以当时谢家的权势地位，桓温来亲近也正常之极。
只是谢家有一个慧眼识人的女人—谢奕的弟媳，她说：“桓荆州的用意和平常有些不同，大伯肯定会和他一起走的。”别人都不相信，谢奕为人洒脱得很，怎么受得了和别人在一起的拘束呢？不久，桓温果真要谢奕去当荆州司马，谢家人还没明白咋回事呢，谢奕就跟着他去了。
桓温性格十分率真，谢奕为人也很直爽狂放，二人志趣相投，很谈得来。到荆州之后，两人时常饮酒作诗，搞个小聚会；在花园里，在酒桌上，两人不分上下，相处十分融洽，互相引为知己。
后来，谢奕每天都到桓府去，掀起头巾，露出前额，就如同在家里一样吟诵长啸，不计较任何礼节。桓温开始还引以为傲，时常说：“这是我方外的司马啊。”后来，粗心的桓温发现情况有些变化：谢奕无论是在他家里，还是在刺史府里，都不讲规矩了，不但说话不知轻重，不分场合，还时不时地来个偷袭，拍拍他的肩膀，高兴时猛然捏捏他的鼻子，或揪一小撮头发，搞得他很丢脸。桓温虽然生气，但又抹不开面子，怒不起来。
而谢奕则把桓温的容忍当成了不要脸的资本，继续着他的恶作剧，甚至常借着酒劲挑战桓温的底线。有一次，谢奕喝醉了，又来拉拉扯扯，桓温怕他纠缠，干脆假装不在。可是谢奕却在外面大声喊：“我知道你在呢，再不出来我就要破门了啊！”桓温知道他的个性，使了个诈，偷偷躲到老婆那里去。边跑还边回头，结果没看见前面的路，一头撞到柱子上去了。老婆看着狼狈的桓温，大笑着说：“如果没有你的狂妄司马，我还真见不到你这个大忙人啊。”一句话把桓温说得面红耳赤。
先生说过：“唯女子与小人为难养也，近之则不逊，远之则怨。”桓温是逮着了狐狸，惹来一身骚。虽然谢奕非小人，但关系太过亲密总会有不方便之处。不过在这件事情中，最受益的恐怕是桓温的老婆了。