于谢安纵容谢家子弟虚华俗丽，奢靡放纵的行为，也有不少尖锐的批评。比如，先前，对谢安的功业，给予崇高评价的大唐贤相房玄龄，对于谢安的这一行为，包括他先前“期丧不废乐”的行为，毫不留情地给予了严厉的批评：
然激繁会于期服之辰，敦一欢于百金之费，废礼于偷薄之俗，崇侈于耕战之秋，虽欲混哀乐而同归，齐奢俭于一致，而不知颓风已扇，雅道日沦，国之仪刑，岂期若是！太保沈浮，旷若虚舟。任高百辟，情惟一丘。......为龙为光，或卿或将。
房玄龄的批评，不无道理。谢安的无动于衷，的的确确，开启了谢氏家族奢靡堕落的腐朽之风，也为陈郡谢氏一族的衰败，埋下了隐患。
所谓有样学样，作为谢氏家族的精神领袖，谢安可以不遵礼制，不循礼法，随心所欲。同样，那些谢家子弟，也能够冒天下之大不韪，任性胡闹。一个率性的长辈，带出了一群任性的晚辈。原本想种瓜得瓜，种豆得豆，孰知，事与愿违，结果却是：种瓜得豆。
说一句不好听的话，谢安作为谢氏家族的家主，是谢氏一族不良之风滋生的始作俑者。这个责任，他难辞其咎。自从谢安、谢玄叔侄，相继去世，谢家的相权、兵权，被东晋司马皇室剥夺。谢氏一族的颓败，便已成定局。
尽管，在南朝时期，谢氏家族中，也涌现出了像谢混、谢灵运、谢晦这些在士林、文坛、政坛上，头角峥嵘的杰出人物；但是，谢氏之盛，已远不复谢安时代了，直到最终的销声匿迹。
后来，谢晦自江陵起兵，与刘宋王朝对抗，被宋文帝刘义隆派兵镇压，在押解途中，写下了《悲人道》一诗，在诗中，他曾经回忆起谢氏家族的鼎盛：
懿华宗之冠胄，固清流而远源。树文德于庭户，立操学于衡门。
同时，作为谢氏子孙，谢晦又对家族的衰败，表现出深深的无奈：
我闻之昔诰，功弥高而身蹙。霍芒刺而幸免，卒倾宗而灭族。周叹贵于狱吏，终下蕃而鏖鞠，虽明德之大贤，亦不免于残戮。
虽然，谢安对谢氏家族的奢靡浮华，以及谢家的衰败，负有不可推卸的责任，这是他的瑕疵。然而，瑕疵中也有一丝人性的光辉。
四十岁之前，谢安高卧东山，教习子侄，经常用自己的言行举止，为子侄们树立榜样，注重培养子弟的道德修养，增强他们的人格精神力量。因此，谢氏一族人杰辈出，诞生了像谢玄那样的军事天才，亲手创建天下第一劲旅——“北府兵”，且在“淝水之战”中，大破前秦，威震天下。
所以，谢家子弟们，个个都是国家柱石，拱卫晋室国祚，不遗余力。尽管有那么一些奢靡虚华的行为，但自始至终，没有做对不起国家的事，没有像唐玄宗统治末期的杨国忠，把持朝政，杨家兄妹权势熏天，一群跳梁小丑，祸乱朝纲。
单凭这一点，谢安为谢家教育出了一门英杰，一门君子，无愧无悔！
尽管在南朝时期，从刘宋至南陈统治的年代，谢氏家族不断走向衰落，谢安当然有一定的责任，是他开了一个不好的风气。可是，谢氏的败落，也是内部因素与外部因素的结合。
这个外部因素，就是到了南北朝时期，士族的社会影响力，正在逐渐下降，寒门庶族开始崛起。刘宋开国之君宋武帝刘裕，就是一个典型代表。
刘裕一介布衣，却凭借着平孙恩、桓玄之乱、灭南燕、取西蜀、北伐后秦的赫赫军功，一步步崛起，与士族阶层分庭抗礼，最终取代晋室，建立刘宋政权。
因此，谢氏一族的败落，是士族阶层衰落大背景下的必然产物，这是谢安所不能预料的。如果将谢家败落的责任，全部归咎于谢安头上，这对谢安的确有失公允，那是不公平的。
后来，谢玄在病重之际，向朝廷上了一道辞呈。在辞呈中，谢玄提及了叔父谢安平生对国家、社稷的贡献，以及叔父曾经的种种：
亡叔臣安协赞雍熙，以成天工。而雰雾尚翳，六合未朗，遗黎涂炭，巢窟宜除，复命臣荷戈前驱，董司戎首。冀仰凭皇威，宇宙宁一，陛下致太平之化，庸臣以尘露报恩，然后从亡叔臣安退身东山，以道养寿。此诚以形于文旨，达于圣听矣。(《晋书·谢玄传》)
作为魏晋玄学影响下的一位名士、隐者，谢安隐得风流，活得洒脱，享誉天下士林。
作为上可匡扶社稷，整理乾坤，下可驾驭百官，协调朝政的一代贤相，谢安广行德政，泽被天下，更在“淝水之战”中，力挽狂澜，谈笑间令百万强敌，顷刻灰飞烟灭；作为儒家正统思想背景下的一位教育家，谢安以身为范，循循善诱，为谢氏家族调教出了多少名垂青史的国家栋梁，留下了“芝兰玉树”的千古佳话......
“安石不肯出，将如苍生何？”，当年一句坊间预言，让谢安走出了东山，一步步迈向了尔虞我诈的朝堂，成就了一代伟人的丰功伟业。从此，世间少了一位啸咏山林，高卧东山的风流隐士，却多了一位扶危平乱，护佑苍生的一代名相。