桓温与谢家(包括谢安在内)的兄弟们都有过千丝万缕，这样那样的复杂关系。谢安的大哥谢奕，在永和元年(345年)桓温升任安西将军、荆州刺史之时，桓温西去荆州赴任不久后，即征辟谢奕为安西司马。
此前，谢奕曾任晋陵太守，桓温曾任琅琊太守、徐州刺史，二人并无过多的交情，只是同僚之间的泛泛之交。在桓温幕府工作期间，由于谢奕的行为过于放浪形骸，不拘小节，被桓温调侃为“方外司马”，同时，也被桓温那位彪悍的太太南康公主称为是一位不折不扣的“狂司马”。
应该说，谢氏家族在谢奕的时候与桓温的关系还算比较温和。至于谢安的堂兄谢尚，他与桓温，则充满了复杂的利益关系。
桓温自平蜀灭成汉之后，日益崛起，晋廷为了制约桓氏一族，于永和八年(352年)起用殷浩、谢尚，北伐前秦，进攻许昌、洛阳。第二年冬天，永和九年(353年)，殷浩率七万大军北上，被羌军姚襄所部截击，损兵上万，军中物资补给亦为姚襄所夺。后来，桓温借着朝中对殷浩的不满，趁机上书弹劾殷浩，殷浩因此被废为庶人。然而，桓温却对谢尚之前的诫桥之败，只字未提。
可是后来，桓温却对谢尚愈加不安，为什么呢？是因为永和八年(352年)谢尚诫桥之败的同一年，谢尚戴罪立功，于邺城智取传国玉玺，又收复许昌，因功官拜镇西将军、都督豫州、扬州五郡军事。从这个时候起，谢氏家族便开始逐渐掌握军权，这令桓温感到不安。
对于桓温而言，掌控晋室朝政，军权是绝对不能放手的。谢尚执掌兵权，显然是触碰到了桓温的利益链条，因此，桓温就要在私下使坏。
果然，机会来了。永和十年(354年)，桓温第二次北伐，收复洛阳，表奏朝廷，以谢尚任都督司州诸军事，桓温此举用心险恶。一方面，企图逼迫谢尚让出豫州、扬州的方镇之权；另一个方面，洛阳在此时无疑是一块烫手的山芋，目前，北方局势不明，各地政权随时有可能趁机反扑，洛阳一旦再度沦陷，谢尚必然难辞其咎。
谢尚当然明白桓温的险恶用心，恰巧此时，谢尚因病为由，借故推辞掉了这个任命。根据《晋书·谢尚传》的记载：“桓温北平洛阳，上疏请尚为都督司州诸军事。将镇洛阳，以疾病不行。”
到了谢万这里，桓温则是完完全全的算计了，最终导致的结果，便是谢氏家族失去了来之不易的方镇之权，整个家族，遭遇了自谢衡以来的最大危机。
说来也奇怪，谢奕、谢安兄弟二人，都曾经供职于桓温的幕府之中，都当过桓温的司马一职。到了谢氏家族的下一代，谢玄年轻的时候，也任职于桓温的幕府之中，担任过桓大司马的府掾。父子、叔侄两代人，都曾经为一位权臣工作过，这也是一件奇事，《晋书·谢玄传》记载：
及长，有经国才略，屡辟不起。后与王珣俱被桓温辟为掾，并礼重之。
因此，桓温与谢氏家族的主要成员，既有着不匪的交情，又存在着非常明显的利益冲突。同样，谢安与桓温，也是这样一个复杂的关系，两人究竟孰为棋子，孰为执棋者，谁也说不清楚。
那么，如何评价谢安与桓温之间的关系？形象地说，这是一对貌合神离的“合伙人”，他们是在相互利用。桓温是在利用谢安，巩固自己在朝中的权臣地位，同时，又防备谢氏家族重新执掌典兵权的机会；而谢安则是利用桓温在朝中的声威与势力，作为跳板，重振谢氏家族。所以，双方都带有十分明显的目的性。南宋理学宗师朱熹曾经非常形象地形容，谢安与桓温的关系：
谢安之于桓温，如近世陈鲁公(南宋名臣陈康伯)之于完颜亮(金国第四位皇帝“海陵炀王”)，幸而捱得它死耳。
所谓英雄惜英雄，谢安与桓温二人，都是两个强中自有强中手的对手，正如当年的“卧龙”(诸葛亮)与“冢虎”(司马懿)一样。谢安便不用多说了，至于桓温，房玄龄监修《晋书》的时候，将桓温与东晋初年的另一位大权臣王敦共同列入一传，并对桓温对外征战的军事才能给予了充分的肯定：
桓温挺雄豪之逸气，韫文武之奇才，见赏通人，夙标令誉。时既豺狼孔炽，疆场多虞，受寄捍城，用恢威略，乃逾越险阻，戡定岷峨，独克之功，有可称矣。及观兵洛汭，修复五陵，引旆秦郊，威怀三辅，虽未能枭除凶逆，亦足以宣畅王灵。既而总戎马之权，居形胜之地，自谓英猷不世，勋绩冠时。
另外，桓温征辟谢安为征西大将军司马，还有另外一层用意，与其说是招揽至自己帐下，以便控制与监视，倒不如说可以娴熟地驾驭，让谢安真正可以为我所用，为自己效忠。此时的桓温、谢安，正如当年的曹魏政权三代君王与晋的创始者司马懿司马仲达之间的政治角力一样。
罗贯中在《三国演义》的故事章节中，曾有过曹操对于司马懿的一段评价，魏武帝曹操其实早就看出了司马懿的野心，曹操这样评价司马懿：“司马懿鹰视狼顾，不可付以兵权；久必为国家大祸