关于白马寺得名的传说很多，但能确认的一点就是和一匹白马有关。传说《西游记》中玄奘取回的经书就放在白马寺，另外有说白马寺也是中土第一寺。
东汉永平七年，正月十五元宵佳节这天夜里，汉明帝在南宫梦见一个金人，身高六丈，顶佩白光，飞绕殿庭。第二天，他遍访诸大臣，其间有一名傅毅的人奏道：“西方有神，其名日“佛”，形如陛下所梦。”汉明帝信以为真，便派大臣蔡扎秦景等18人，出使西域拜求佛法。汉使西行至大月氏国（今阿富汗一带），遇到印度高僧摄摩腾、竺法兰2人，并得到佛经和释迦牟尼佛像。永平十年（公元67年），二高僧应邀和东汉使者一道，以白马驮着佛经、佛像同返国都洛阳。翌年，汉明帝敕令于洛阳城西修造寺院，为纪念白马驮经之功，特命名为“白马寺”，并专门安排两位印度高僧长期禅居寺内，泽经传教。自此，佛教才得以在中国传播开来。后来，唐朝时期的玄奘是洛阳偃师人，他取经回来之后，就将经书存放在家乡附近的寺庙，也就是白马寺里，据说，大部分经文都足在这座寺庙里翻译并流传到全国各地的。所以，人们也称白马寺为中土第一寺。
白马寺原建有四大天王庙、东廊房、西廊房、大雄宝殿、三层皋楼、藏经楼、岱王庙、钟鼓楼等。寺庙内塑有释迦牟尼佛、观世音菩萨、十八罗汉、千手千眼佛、地藏王菩萨、关帝等神像40余蹲，并立有石碑6块、石龟2蹲、古井一眼和国槐等树。在寺院东南3华里处还建有塔林。另外，还有寺院耕种的土地百余亩。
据悉，解放前，白马寺每逢初一、十五举行庙会，后改为白马寺集。解放初，该寺庙又被改建为白马寺小学，作为教室、宿舍、操场之用，直至1987年学校搬迁。搬迁时学校的旧房舍、操场等原属学校使用的财产，由当地一名叫郑庆岗的人出资购得并保存，以备日后修复寺院使用。
