后来,祖逖和幼时的好友刘琨担任司州主簿。二人志趣相投,白天同赴州府办公,晚上合盖一条被子睡觉,而且还有着共同的理想:建功立业,复兴晋国,成为国家的栋梁之才。
一次,半夜里祖逖在睡梦中听到公鸡的鸣叫声,他一脚把刘琨踢醒,对他说:“别人都认为半夜听见鸡叫不吉利,我偏不这样想,咱们干脆以后听见鸡叫就起床练剑如何?”刘琨欣然同意。从此,“闻鸡起舞”就成了他们每天必修的功课。每天鸡叫后,两人就起床练剑,剑光飞舞,剑声铿锵。春去冬来,寒来暑往,从不间断。
功夫不负有心人,经过长期的刻苦学习和训练,他们终于成为能文能武的全才,既能写得一手好文章,又能带兵打胜仗。祖逖被封为镇西将军,实现了他报效国家的愿望;刘琨做了都督,兼管并、冀、幽三州的军事,也充分发挥了他的文才武略。
公元311年6月,匈奴攻陷洛阳,晋怀帝被俘。祖逖要求北伐,收复中原。司马睿内心不愿作战,只任命他为豫州刺吏,要他自己招募军队,祖逖率领自己的部属横渡长江,当船到中流时,他举起桨来叩击着船舷,起誓说:“我如果不能收复中原,就决不再渡江回到南方去!”有勇有谋的祖逖不久就夺回了黄河以南的全部国土。但他的行动引起了晋朝统治集团的疑忌,对他施加压力。公元321年,祖逖五十六岁时,怀着未了的志愿饮恨而死。