“三山五岳”的提法，在我国古代很早就出现了。传说中的“三山”因是“神仙”居住的地方，格外受到古人的神往。
一种流传最广的说法认为，三山也就是指三神山，即古代传说中的东海蓬莱、方丈、瀛洲三山，总称“三神山”，据说山上长有长生药，宫殿都是用黄金、白银建造的。《史记》载：“齐人徐福等上书，言海中有三神山，名曰蓬莱、方丈、瀛洲。”从此以后，三山的名字便在古代小说、戏曲、笔记中经常出现，然而它只不过是传说而已，现实中并不存在。
也有人将江苏省南京市西南长江东岸南北相连的山，称为“三山”。诗人李白《登金陵凤凰台》有“三山半落青天外”的诗句。江苏省镇江市长江江滨和江中的金山、焦山、北固山夹江相峙，世称“金口三山”。
现在，所谓的五岳是指我国的五大名山，它们是东岳泰山、北岳恒山、中岳嵩山、西岳华山和南岳衡山。但在历史上，五岳的称呼却不是这几座，而是另有其山。
汉宣帝时确定了以河南嵩山为中岳、山东泰山为东岳、安徽潜山县的天柱山为南岳，陕西华山为西岳、河北曲阳县的大茂山为北岳。其后又改湖南的衡山为南岳。隋以后遂成定制。明代的时候开始以山西的恒山为北岳，到清朝时祭祀北岳才改往山西的恒山了。
一些封建割据政权也曾将其境内的名山封为五岳。如三国的吴末帝就将今江苏宜兴县的离里山为中岳，又封其南的荆南山为南岳等。五代闽帝王延钧封今福建宁德县的霍童山为东岳，永泰县的高盖山为西岳等。唐朝时南诏统治云南，则以境内点苍山为中岳、乌蒙山为东岳、无量山为南岳、玉龙山为北岳、高黎贡山为西岳。
现在所说的三山五岳，泛指我国的所有的名山大川。
