正当祖逖继续向北进军、收复整个中原地区的壮志未酬之时,发生了不测事件,东晋朝廷内部出现了争权夺利的内乱,祖逖感到收复中原的雄心壮志难以实现,于是忧愤得病。虽如此,但仍进取不辍。他将妻子儿女安排在险要之地,以表明继续北进之决心,他还营缮武牢城。此城北临黄河,西接成皋(今河南荥阳汜水镇),祖逖见其南部没有坚垒,便派侄儿、汝南太守祖济率众筑垒。垒未筑成,祖逖则于公元321年病故于雍丘,时年56岁。豫州百姓如丧父母,十分悲痛,纷纷立祠纪念他,东晋朝廷追赠他为“车骑将军”。祖逖虽壮志未酬,但其“闻鸡起舞”“中流击楫”的典故却传颂千古,催人奋进。