岳麓书院创始，可追溯到唐末五代僧人办学。北宋开宝九年（976），谭州太守朱洞正式创院于岳麓山抱黄洞下，咸平二年（999），谭州太守李允则扩建，咸平四年（1001）请下国子监经籍。大中祥符八年（1015）宋真宗闻山长周式办学成绩卓著，便亲书“岳麓书院”匾额，即列中国古代四大书院之一。

南宋乾道元年（1165）刘珙任湖南安抚使知谭州，重建毁于战火的岳麓书院，特别聘请南宋著名理学家张栻主教。宋乾道三年（1167）朱熹到长沙，与张栻切磋学术。朱张展开的“中和之辩”，首开了不同学派自由讲学的先河。会讲对朱熹理学思想的形成和发展，和对湖湘学的发展都产生了深刻的影响。“朱张会讲”是岳麓书院史上的一件盛事。绍熙五年（1194）朱熹任湖南安抚使时再兴岳麓书院教育，更建书院朱熹、张栻两位大师的治教，进入到了它的鼎盛时期，名扬海内外，享有“潇湘洙泗”之誉。培养了一大批经世人才，仅《宋元学案》“岳麓诸儒”就有三十三人之多，所列彭龟年、吴猎、赵方、游九言、游九功、胡大时等岳麓巨子，都是当时的抗金民族英雄。所表现出来的民族气节、爱国主义精神，反映了岳麓书院爱国主义传统教育的深刻影响，被后人赞誉为“南轩（张栻）先生岳麓之教，身后不衰”。嘉定十五年（1222）后，陈傅良、真德秀、欧阳道等著名学者先后来书院讲学。二十三年（1286）谭州学政刘必太重修岳麓书院，谭州路判官刘安仁再次重修。明代初期，政府对书院教育不予重视，岳麓书院停教达百年之久，直到明成化五年（1469）长沙知府钱澍重修岳麓书院，弘治七年（1494）长沙府通判通陈钢再增建。正德二年（1507），守道吴世忠对岳麓书院的改向扩建。且首编《岳麓书院志》。随后王阳明及弟子王乔龄、季本等纷纷来院讲学，一度“良知”之学成为岳麓书院自由讲学的中心议题。王学与湖湘学相互交流发展，书院再度辉煌，培养了以王夫之为代表的爱国志士群体。

康熙二十五年湖南巡抚史丁思孔大规模再复书院，增建御书楼、文昌阁、自卑亭。康熙二十六年（1687），康熙帝御书“学达性天”额，乾隆九年（1744）乾隆帝御书“道南正脉”。清代，岳麓书院已成为全国很有影响的教育中心，其规模之宏大，规制之完备，培养人才之多，在其发展史上是空前的，居于僵前列。在学术上也进入了又一个繁荣时期。主教者多为学术大师，如山长王文清，独治朴学，卓然为一代鸿儒。山长罗曲、旷敏本、李文炤、王先谦等都是著名的汉学家。汉学取得了很大的成就，仍是继承和发扬了湖湘学的经世致用的传统。“中兴将相，十九湖湘”，在道光、咸丰、同治年间涌现了一大批经世纬国之才。著名的思想家魏源、改革家陶澍，中国第一个出使外国的大使郭嵩焘，办洋务兴实业的先驱曾国藩、左宗棠等，他们都曾叱咤风云，对中国近代历史的进程产生过重大影响。

晚清，岳麓书院针对时弊，着意变通，实行教育改革，增添“新学”科目，倡导西学，注重时事，致使岳麓书院成为维新变革的活动基地之一。从1903年至1926年，20多年间，岳麓书院完成了从古代书院到现代大学的变革，正式定名为湖南大学。培养了一大批中国之栋梁。其中有变法志士唐才常、熊希龄、沈荩，民主革命先驱蔡锷、陈天华、程潜，著名教育家杨昌济、徐特立、范源濂，中国共产党早期领袖及政界名人蔡和森、何叔衡、邓中夏及众多著名学者等。他们在各个领域作出了卓著的贡献。毛主席也多次到岳麓书院活动。三次寓居半学斋（湖南大学筹备处），问学杨昌济，与蔡和森等从事革命活动，书院传统文化对青年毛泽东产生过深刻的影响和启示。

岳麓书院在经历了长时间历史沧桑之后，作为文物受到了国家的重点保护。1956年公布为省级文物保护单位，1988年又公布为国家级重点文物保护单位。