1931年，第三次反“围剿”胜利后，赣南、闽西根据地连成一片，在此基础上形成了中央革命根据地，即中央苏区。为提高中央苏区干部和群众的思想文化素质，用马克思主义先进理论武装革命大众的头脑，中华苏维埃共和国临时中央政府于1932年在瑞金建立了中央图书馆。
中央图书馆的建立，是苏区文化教育事业的一件大事。
其实，早在中央苏区建立之前，中国共产党和苏区各级政府就已经意识到思想文化建设的重要性——读书学习，提高政治觉悟和文化水平，以适应新形势下的斗争需要。
1932年4月，毛泽东率领红军东路军攻克闽南重镇漳州，收缴战利品时，发现了数千册图书、报刊资料。毛泽东命令将其全部运回瑞金，并请来中央苏区教育部代理部长徐特立，商讨创办图书馆事宜。这批图书便成了中央图书馆藏书的重要组成部分。
但是，作为中央图书馆，仅有这些书是远远不够的。为进一步扩大藏书规模，中央图书馆采取了团体或个人赠书和向社会购买等方式，在中华苏维埃机关报《红色中华》上刊登赠、购书启事，函征各机关团体赠送书籍、刊物，采购图书，得到各方面的响应与支持。仅1932年9月至10月，中央图书馆就收到各机关团体捐赠的数十种图书和刊物，其中有《红军战士》《革命与战争》《反帝战线》等。
图书馆开放后，前来借书的读者络绎不绝。苏维埃政府高度重视图书馆的建设，配有专职干部管理图书及借阅工作。为方便白天工作繁忙的军民利用晚上空闲时间阅读，中央图书馆将闭馆时间延长到晚上11时，夜间没有电灯，工作人员就找来马灯照明。阅览室桌椅不够用，人们就自带板凳，三五成群地在图书馆门外、街边围坐灯前阅读。一时间，读书学习在瑞金和周边县乡蔚然成风，广大干部群众、红军官兵学知识、练本领，投身革命、保卫苏区、建设家园的热情高涨。
中央图书馆不仅受到广大军民的青睐，很多领导干部更是这里的忠实读者，经常来此借阅马列著作和文史类书籍。1932年冬，毛泽东在闽西长汀福音医院休养期间，开列了一张借书单，专门派警卫员回瑞金，请徐特立到中央图书馆借了几十本书，带到医院阅读。后来，瞿秋白到瑞金任中央苏区教育部部长，也非常关心中央图书馆的建设，经常到馆借阅图书和指导工作。
1934年10月，红军开始艰苦卓绝的长征，主力部队在撤离之前，将中央图书馆的藏书装箱，藏到瑞金西高陂村等地，但还是有一部分藏书被国民党发现并掠走。值得庆幸的是，瑞金解放后，党和政府开始收集散落在民间的中央图书馆藏书，经过努力，陆续收回图书1400多册、报刊300余份以及各种布告、文件、信函等，经集中整理后收藏在瑞金中央革命根据地纪念馆。
这座诞生在革命烽火中的中央图书馆，藏书虽然不算丰富，仅运行了两年多，却是苏区文化战线的一个重要阵地，在传播党的路线方针、提高军民政治觉悟、普及科学文化知识、加强红色政权建设等方面发挥了重要作用。