在我国，关于图书的起源，《易•系辞上》说：“河出图，洛出书”。可见在周代以前早已有了藏书之举了，不过没有载于典籍罢了。
到了周代就：有了“史”这一官吏，来掌管四方之志，三皇五帝之事。《史记》说，老子曾任周朝的“守藏室之史”，班固的《汉书•艺文志》也说，老子做周的史官，博览古今典籍。可见老子担任过当时的“图书馆馆长”是确凿无疑的了。孔子周游列国，得读120国的宝书。当时图书馆之多，藏书之丰富，于此可见。
进入封建时代，中国的图书馆有了一个大发展。但秦始皇“焚书坑儒”，使古代的图书遭受了一次大摧残。到了汉代，惠帝取消了禁书的法令。武帝时，下令征求遗书，并设立了国家图书馆，设置专门抄写书籍的人员，并定出标准本。
后来历代封建王朝都继承了这个办法。汉朝的兰台、石室、麒麟阁等都是藏书的地方。公元前26年，汉成帝派陈农到全国各地征求书籍，并命令学者刘向等人分别加以整理。刘向死后，其子刘歆继承父业，编定了中国历史上第一部图书分类目录《七略》，这是世界上最早的图书目录之一。
发明造纸之后，抄写书籍的人多了起来。到了七、八世纪，便出现了专门买卖书籍的书店。南朝梁武帝时，仅文德殿藏书就有二万三千一百零六卷。又据史书记载，西晋大臣文学家张华有书三十车，南朝梁代文学家任防藏书万余卷。
隋文帝时，秘书监(即相当于国家图书馆馆长)牛弘派人到民间搜求异书，每卷赏绢一匹，抄写完毕，原书归主。如此抄录书籍，共三万余卷。唐玄宗特设修书院，专掌抄校书籍，用女子做管理员，在长安抄写了五万一千多卷书，藏在乾元殿。安史之乱，损夫殆尽。唐文宗时，又重行抄写了一次。此外，南北朝以后各代朝廷还曾大量收藏佛经，可惜后来也大都毁于战火。
宋太宗建立崇文院，是专门藏书的地方。后来另设书库，叫做秘阁。元朝先设宏文院，后立艺林库，专为收藏书籍之用。
明代的文渊阁也是一个大图书馆。永乐十九年，明成祖定都北京，令将文渊阁藏书各取一部送到北京，共一百柜。这就是我国最大的类书，也是世界上第一部大百科全书——《永乐大典》。
随着印刷术的发明和应用，刻书事业也发展起来。私人藏书也比以前多了。明代从事刻书的有名人物之一毛晋，私人藏书多达八万四千余册，大部分是宋元挂本。据说，四方到这里看书的，“轴轳衔接，二十余里”。明代范钦的藏书楼——天一阁是现存的最老的私人图书馆，建于嘉靖末年，在宁波月湖之西。原有藏书七万多卷。清乾隆以后，屡经盗窃，散失甚多。至解放后，尚存一万三千多卷。现列为重点文物保护单位。
有名的巨大丛书《四库全书》，是按清乾隆的意旨编纂的，内容包括经、史、子，集四大部分，共收著作三干五百零三种，七万九千三百三十七卷。另有《四库全书总目提要》一百卷。最初只写四部，分别藏在北京宫内的文渊阁，盛京(今沈阳)的文溯阁，圆明园的文源阁和热河的文津阁。后又添写三部，分藏在扬州的文汇阁，镇江的文宗阁和杭州的文澜阁。江浙的三阁可供人阅览，派有专员管理并设立收发档案。
在我国，开始有现代意义的图书馆，大约在光绪三十年(1904年)以后。在正式公文上出现“图书馆”这一名词是宣统元年(1909年)学部拟定京师及各省图书馆通行章程的折子上。
我国现在最大的图书馆——北京图书馆，原名京师图书馆，于清朝末年(1910年)开始筹建，于1912年正式开放。
