长期以来，也促成了他放诞、任性、倨傲的性格，随意调侃、捉弄他人、满嘴跑火车，似乎早已经是家常便饭。即便是自己的岳父，也“不幸”成了谢万开涮的对象：
太原王述，万之妻父也，为扬州刺史。万尝衣白纶巾，乘平肩舆，径至听事前，谓述曰：“人言君侯痴，君侯信自痴。”述曰：“非无此论，但晚合耳。” (《晋书·谢万传》)
谢万的岳父王述，担任扬州刺史时，王述就是前文被谢万大哥谢奕破口大骂的那位蓝田侯王述。有一次，谢万衣着白色纶巾，乘坐着一顶肩舆，直到王述家的厅堂门前才下了轿子，拜访岳父王述。
从古至今，翁婿、婆媳，一直是家庭生活中的大难题。以谢安为例，谢安就非常瞧不上他的女婿王国宝，认为王国宝人品低下，趋炎附势，以至于王国宝对岳父谢安怀恨在心。所以，在谢安晚年的时候，王国宝勾结佞臣司马道子，一起在孝武帝司马曜面前恶意中伤谢安。这才导致谢安晚年饱受皇帝的猜忌、佞臣的中伤，在朝廷中举步维艰，最终不得不离开权力中心，离京北伐，直至最后抱憾去世。
谁知，谢万见了岳父王述，非但不行礼，反而没大没小，胡乱开起了岳父的玩笑，随意调侃老丈人：“人言君侯痴，君侯信自痴。”岳父大人，别人都说您老傻，看来你还真有点儿傻。谢万这样随意开岳父的玩笑，实在是太失礼了，只见，王述只能尴尬地为自己辩白：“非无此论，但晚合耳。”你别听他们胡说，老夫只是大器晚成而已。谢万这种倨傲任性的性格，在他真正从政为官之后才真正害了他，也差一点断送了整个谢氏家族。
升平二年(358年)，谢万的大哥谢奕，病逝于豫州刺史的任上，那时，谢奕仅仅只当了一年的豫州刺史。谢奕死后，其生前在豫州的职权以及豫州刺史一职的人选，一时间成了个大难题，也成为了东晋司马皇室最为关注的问题。因为此时，桓温通过收复蜀地，两次北伐，立下了无比显赫的军事成就，逐渐崛起，桓氏一族的势力，也在不断扩张，大有与晋廷分庭抗礼之势。所以，豫州刺史的人选，至关重要，是朝廷与皇室制约桓温的重要策略。
当时，身为丞相的会稽王司马昱，也为豫州刺史的人选犯愁，不知该选派何人，有人曾向他举荐桓温之弟桓云，出任豫州刺史。于是，司马昱特意向尚书左仆射王彪之咨询意见：“人有举桓云者，君谓如何？”
王彪之出身琅琊王氏，是尚书右仆射王彬之子，丞相王导的堂侄，官至尚书令、护军将军、散骑常侍，后来曾与谢安、王坦之共同位列辅政大臣之序，与谢安共同合作，阻止了桓温篡夺晋室的阴谋。王彪之并不赞同由桓云出任豫州刺史一职，理由是他姓桓，他是桓氏家族的成员：
云不必非才，然温居上流，割天下之半。其弟复处西籓，兵权尽出一门，亦非深根固蒂之宜也。人才非可豫量，但当令不与殿下作异者平。 (《晋书·王彪之传》)
王彪之认为，或许桓云可以胜任，但是，桓温此时已经占据了天下一半的领土，兵权不可归于一家，这样会使桓氏一族趁机坐大，威胁朝廷安危。最后经过商议，他们认为，既然豫州刺史一职先前由谢家人担任，那么，还是选派谢家人执掌豫州较为稳妥。因此，谢奕去世的当年，升平二年(358年)八月，朝廷提拔时任吴兴太守的谢万为西中郎将、豫州刺史、监司、豫、冀、并四州诸军事，同时领淮南太守，正式接掌了大哥谢奕生前在豫州的官职与权柄。
按道理，弟承兄位，无可厚非。可是，谢万有几斤几两，别人不清楚，谢安这个做兄长的难道心里会不明白吗？谢万倨傲不介，任性妄为，这样的性格，若是从政为官，不但会害了他，也会害了国家。王羲之就曾在信中恳切地劝诫谢万，希望他可以改掉轻狂浮躁的毛病：
以君迈往不屑之韵，而俯同群辟，诚难为意也。然所谓通识，正自当随事行藏，乃为远耳。愿君每与士之下着同，则尽善矣。食不二味，居不重席，此复何用，而古人以为美谈。济否所由。实在积小以致高大，君其存之。 (《晋书·王羲之传》)
高卧东山的二十多年，除了游山玩水和教习子侄，谢安将大部分的精力与时间，都用在了辅佐谢万之上，尽心竭力地帮衬自己这个不成器的弟弟。可是，江山易改，禀性难移。尽管有好友王羲之恳切的劝导，以及兄长谢安尽心的辅弼，然而，谢万却始终改不了他那任性的毛病。最终，因为谢万的任性，不仅几乎让他招致杀身之祸，也为谢氏家族带来了一场虚妄之灾，几乎让谢氏家族一蹶不振，这一切还源于那次北伐的失败。
升平三年(359年)，也就是谢万接掌豫州权柄的第二年，晋廷委派谢万与北中郎将郗昙，共同领兵，兵分二路，北伐前燕。这一年，正好是桓温的第二次北伐接近尾声的时候。桓温第二次北伐，率军成功击败了羌人首领姚襄所部，并一举收复了晋室旧都洛阳，取得了较好的战果，也让桓氏家族的势力进一步得到扩张。
朝廷此时命令谢万北伐，意图非常明显，就是为