退守彭城，可能是想等自己病好了，再行反击。然而，谢万却不明白其中的内情，一看郗昙退守彭城，以为郗昙与燕军作战失利，兵败而归。仓促之下，六神无主的谢万，下令撤军，这一撤军，整个部队好像失去了控制一般，撤军顿时变成了一场“大溃败”。根据《晋书·谢万传》记载，当时的情景是“众遂溃散，狼狈单归”，晋军溃败，谢万更是狼狈不堪，一个人单骑逃离战场。
这次北伐可以说是无疾而终，不战而败。北伐的失败，造成的一个直接恶果就是豫州治下许昌、颍川、谯郡、沛郡等地，悉数落入前燕之手。
轰轰烈烈的北伐，就这样以一种雷声大、雨点小的失败形式而告终，关键是什么呢？晋军未与敌人真刀真枪打上一仗即不战自溃。因此，全军上下都对主帅谢万极度不满，所谓“一将无能，三军受累”，要不是谢万的瞎指挥，会有今日之败吗？众人都恨不得杀谢万以谢三军，幸亏当时谢安在场，大家碍于谢安的面子，才强压心中的怒火，没有酿成兵变，“军士欲因其败而图之，以安故而止。” (《资治通鉴·晋纪二十二》)
战后，东晋朝廷对谢万作出了严厉的处置，谢万兵败辱国，丧师失地，不仅北伐无功，反而丢失了豫州大片城池，也让朝廷企图制约桓氏一族的方针化为泡影，因此，必须要严惩谢万。
那么，朝廷究竟是如何处置谢万的呢？当然不可能把他杀了，但是官是不能继续当了。朝廷将谢万革去官职，废为庶人，等于一撸到底了。对于另一位晋军主帅郗昙，只是受到了降级留用的处理，从北中郎将降号为建武将军。到这里，一切才算尘埃落定，谢万从一个手握实权的一方诸侯，瞬间沦为了一介布衣。
谢万是在升平三年(359年)被废为庶人，两年后，升平五年(361年)，谢万郁郁而终，走完了他恣意任性，游戏世间的一生，年仅四十二岁。正好此时，朝廷准备重新起用谢万为散骑常侍，不想谢万此时已经去世了，于是朝廷便追赠谢万为散骑常侍。
谢万被废，无论是对东晋朝廷、皇室，还是谢氏家族而言，都是一个不小的打击。首先，于朝廷、皇室而言，谢万的北伐兵败、被废庶人，让朝廷又一次通过北伐收复北方故土的军事行动再度以失败告终；同时，谢万的兵败被废，也打乱了皇室对于豫州权柄的人事安排。原本，东晋皇室是想借助谢氏家族在豫州十几年积攒起来的人望，压制桓氏一门势力的膨胀。可是到最后，却是搬起石头砸自己的脚，导致了桓氏一族的外藩势力一家独大，直接能和中央叫板。
其次，对于谢氏家族而言，谢尚、谢奕兄弟二人，用了十几年时间的努力，才让谢氏家族拥有了一丁点跻身朝堂的资格，谢尚官拜镇西将军，谢奕曾任豫州刺史，好不容易，才为谢氏家族取得了在豫州的政治席位。然而，随着谢万被废，一切都改变了，套用清代孔尚任《桃花扇》中的一段戏文——“眼看他起朱楼，眼看他宴宾客，眼看他楼塌了”。
谢万被废，使得本来在朝中就根基尚浅的谢氏家族，处境变得更加岌岌可危，此刻的东晋朝局，几乎成了桓温的“一言堂”，朝中似乎无人与之抗衡了。另外，当时的谢氏家族之中，除了谢安以外，其余的子侄，尚且年幼，暂时还不具备与桓温及桓氏一族对抗的实力与资格。应该说，此时的谢氏家族，面临着几近没落的危险。
朝中，桓温专权，桓氏一族权倾朝野，只手遮天，而谢氏家族也陷于一个岌岌可危的处境。面对充满忧患的艰难时局，无论是天下人，还是谢氏家族，都亟需一位天降奇才出来，力挽狂澜，拯救晋室江山与谢氏家族。于是，所有人将王朝、家族的希望寄托在了高卧东山二十余载的谢安身上。
那么，谢安究竟该如何抉择，他该何去何从呢？