少林寺位于河南登封县嵩岳少室山北麓五乳峰下，北魏孝文帝太和十年（486年）和十九年（495年）兴建。嵩山少林寺僧练习拳术最早见载于《早唐书•稠禅师传》。唐朝初，少林寺僧曾帮助唐太宗出征王世充，立下了“飜城之功”。寺僧有功者13人，战事结束后，秦王李世民就赐武僧们庄田40顷，并扩充庙宇，建立僧兵达五千余人。少林寺昙宗和尚是一位武术高手，曾两次智救唐王，战功赫赫，后被李世民封为大将军。
到了宋代，传说宋太祖曾来少林寺，还调遣各路诸将轮驻少林，一来授艺于僧兵，二来取少林武术之长。到北宋末年，金军侵入中原，占领潼关。河南尹范致虚起用少林寺武僧赵宗印为宣抚司参议官兼节制军马。赵宗印以僧人组织了一支军队，这支军队后来被金兵打得大败。原来赵宗印只会空谈用兵的大道理，实际上并不真懂军事。
明代是少林寺僧兵规模最大的时期，在抗倭斗争中大显身手，少林寺僧兵应诏抗倭立功的就有500多名，寺院常备僧兵达到千人以上。据古籍记载，嘉靖年间，倭寇骚扰江浙，兵备道任环召少林寺武僧击贼。少林武僧朱发靛面，挥动长剑，屡败倭寇。有不少武僧战死于疆场。明末李自成起义军兴起后，陕州知州史记言为抵抗义军，出私财招募兵士，就是聘请少林武僧训练士兵的。
清代少林寺有反清复明之嫌，朝廷多次降旨，禁止习武，少林僧兵作为一种制度，就逐渐衰落了。喜欢习武的武僧，只能自己偷偷练习。民国期间，少林寺武术尚有复苏之势，蒋介石游少林寺时，也看了武僧的武术表演，颇为惊叹。
少林武僧基本上是站在历代统治阶级立场上“尽忠”的，所以统治阶级称颂少林武僧是“定乱策勋真证果，保邦靖世即传灯”。有些人把少林武功的起源、少林武僧的作用过于美化、神乎其事，是不符合历史事实的。
