在刘裕崛起的过程中，谢氏家族部分成员则错误站队，在刘裕与另一位将领刘毅的争斗中投靠刘毅，以致最终当到尚书左仆射的谢混等陈郡谢氏族人，纷纷被刘裕以“党同刘毅”的罪名处死。
当时，以砍柴、种地、打鱼和卖草鞋出身的刘裕，象征着南北朝时期庶族的崛起，但部分世家大族却没有认清形势，例如太原王氏就因为自恃门第被刘裕诛杀，反抗北府兵集团的渤海刁氏除刁雍一人北逃外，也全部被杀，在经历错误站队和终于看清形势后，最终陈郡谢氏与琅琊王氏一起，在改朝换代中，选择了投靠新崛起的寒门皇帝、建立刘宋政权的刘裕。
但从东晋孝武帝时期开始，一度薄弱的皇权此时已不断发展，刘裕在公元402年代晋自立、建立刘宋后，为了拉拢北府兵的创建者陈郡谢氏家族，一度重用谢氏家族的谢晦等人，刘裕临死时，谢晦还与徐羡之、傅亮等人一起成为受命托孤的顾命大臣。