我国的上古时代，同人类其他民族一样，很早便开始使用石器。《越绝书》中说：
神农之时，以石为兵。神农和炎帝时，就以石头作兵器了，后来也逐渐用作书写文字的一种载体。但刻石记事到底起于何时，学术界的意见不统一。
《金石学》中说：“三代之间，有金而无石；秦汉以后，石多而金少，而金亦无足轻重，故欲究三代之史莫如金(及近代出土之甲骨)，究秦汉以后之史莫如石。”
而在另一部书《凡将斋金石丛稿》中则说：“自周室衰微，诸侯强大，名器寝轻，功利是重。于是以文字为夸张之具，而石刻之文兴矣。”
《墨子》说：“镂于金石。”可见石刻大概起于周王室衰弱的春秋战国时期。那时的刻石文，今天是见不到了。
现在能看到的最早刻石文是唐初在陕西凤翔发现的“石鼓文”。其实是十块圆鼓形的刻石，共十枚，文体是大篆，全文约七百多字，其内容是记述打猎的四言诗。其中一个石鼓上面的文字看不清了。从字体来看，多数学者认定是秦穆公时的刻石文。
在印刷术发明以前，书籍都靠人书写，这样就难免出现笔误，很多经书也就会出现文字不统一的情况。为了制定统一标准，作为学子们学习的依据，各代官府多有刻石证经的举动。宋代王应麟在他的《困学纪文》中说：
石经有七，汉熹平则蔡邕，魏正始则邯郸淳，晋裴额，唐开成唐元度，后唐孙逢吉等，本朝则嘉祜杨南仲等，中兴高庙御书。王应麟介绍了七个石经，这里值得提的是熹平石经。《资治通鉴》卷五十七载东汉后期灵帝熹平“四年春，三月，诏诸儒正五经文字，命议郎蔡邕为古文、篆、隶三体书之，刻石，立于太学门外。使后儒晚学，咸取正焉。
碑始立，其观视及摹写者，车乘日千余辆，填塞街陌。”蔡邕把《诗》、《书》、《易》、《仪礼》、《春秋》、《公羊传》、《论语》等儒家经典，经过文字校订，刻在石碑上，竖立在首都洛阳的太学门前。这部石经刻成于熹平年间，因而称“熹平石经”，因为正文都是用隶书体刻成的，因此又称之为“一字石经”。
其次是三国时期魏明帝正始年间，在洛阳太学刻的石经，是邯郸淳书写的，只刻《尚书》、《春秋》和半部《春秋左氏传》，这部石经是用籀文、小篆和隶书三种字体刻写，因此称之为《三体石经》，但这些石经都毁掉了，只有唐文宗时刻写的《开成石经》，至今还保存在西安碑林中。
