书院这个名称，最早出现在唐代，也是我国封建社会特有的一种教育组织，在我国古代教育史上占有重要而又独特的地位,具有举足轻重的影响。五代时，由于战争的影响，官学衰废，士子苦无就学之所，于是自动择地读书。一些学者在佛教禅林制度的影响下，也利用此时机，选择景色优美、清雅静谧的山林名胜之地，作为群居讲学之所，出现了具有学校性质的书院。

　　嵩阳书院是我国创建最早、影响最大的书院之一，它与江西庐山的白鹿洞书院、湖南长沙的岳麓书院、河南商丘的睢阳书院（又称应天府书院）并称为中国古代著名的四大书院。嵩阳书院从五代后唐到清代末年经历了近千年的讲学历史，是书院中的佼佼者，对传播中华民族文化和培养造就人才发挥了重要的作用。　

　　嵩阳书院的前身是嵩阳寺、嵩阳观、天封观、奉天宫等，先后是佛、道教的活动声所和李唐皇室的游嵩行宫。

　　北魏孝文帝太和八年（484年）生禅师创建嵩阳寺。元魏司空裴衍隐居嵩山，继生禅师后主持建造嵩阳寺，曾为寺主，僧徒多至数百人。

　　隋炀帝大业八年（612年），道士潘诞自言300岁。为隋炀帝杨广合炼金丹，使其长生不老。杨广遂将嵩阳寺改为嵩阳观，做为炼丹的场所。

　　唐弘道元年（683年）春、冬，高宗李治同武则天到嵩山两访潘师正，以嵩阳观为行宫，曰奉天宫。

　　五代近期（907－960年），连年兵乱，社会动荡，官学遭到严重破坏，嵩阳观依然保持了唐代的兴况，观内还聚集了一批有远见、有学问的道人。后唐清泰年间（934-936年）进士庞式和南唐学者舒元、道士杨纳等人，在嵩阳观聚课生徒，为太乙书院在此创办打下基础。后周显德二年（955年）世宗柴荣（954-959年在位）将位于太室山麓风景秀丽、环境幽清的嵩阳观改称太乙书院。

　　北宋初年重视文治，学者多倾向依山林办学，正因为如此，嵩阳书院得到了长足发展。宋至道元年（995年）太宗越匡义向太乙书院颁赐印本九经书疏。至道三年（997年）五月，宋太宗将太乙书院改称太室书院，并御赐太室书院匾额。大中祥符三年（1010年）四月，真宗赵恒又向太室书院赐九经、子、史诸书，并设置学官。宝元元年（1038年），宋仁宗又赐给嵩阳书院学田10顷。从此，嵩阳书院在赵宋朝廷的支持下，步入最兴盛时期。

　　金、元至明代中期的嵩阳书院讲学活动处于低潮，空余北宋盛名，此前金朝政府统治中原后，中原成为兵家必争之地，受战乱影响，讲学、就读于嵩阳书院的文人、士子纷纷南迁，依附于江南各地书院。金世宗大定年间（1161－1189年）嵩阳书院改名承天宫，又有了道教传道的影子。

　　明朝初叶，政府重视官学，提高科举，一般的读书士子向往官学的待遇优厚，前程荣耀，而不再热心于书院的清苦。在这种形势下，嵩阳书院的发展十分缓慢。

　　清初，由于书院在社会上享有较高的声望，又有一批民间知名人士和地方官的极力荐复，得到快速发展，但清朝乾隆初年，嵩阳书院由于年久失修，大部分建筑都有倒塌之势，乾隆后期便日趋衰落。