据明代鲁点著的《齐云山志》所载，齐云山古称白岳，原因是其峰峦常有云雾弥漫，一天白色，故称。戏剧家汤显祖就有诗云：“欲识金银气，多从黄白游。一生痴绝处，无梦到徽州。”其中的“白”指的就是白乐。史料记载，明嘉靖时，世宗因年过三十无皇子，便命龙虎山张天师在白岳为其求子，结果得到应验。明世宗非常高兴，因见其“一石插天，直入云端，与碧云齐”而更名为“齐云山”。虽然其绝对海拔并不高，但因其相对高度大，所以山势依然显得巍峨壮观。
不过，民间关于“齐云山”名字的来历却有另一种说法。
传说真武太子在武当山修炼后，不太轻易离山云游。他的朋友“地藏王菩萨”此时已在安徽九华山开始弘扬佛法。为了与真武研习修炼之事，菩萨入定遥感，向湖北武当山发出邀请。受朋友之邀，真武驾起祥云前往安徽。二仙见面后，同往白岳游览。真武走上白岳岭巅，不禁为奇峰、秀岩、秀岭及众多各具特色的泉、池、潭、瀑的景致所吸引。地藏王笑着说道：“此山虽不及武当仙山雄伟壮观，但山中峰峦景致，鬼斧神工，自然而成，竞与武当暗合，人称‘江南小武当’。不妨将此作为行官别墅，你我也好常相盘桓，研讨佛道玄旨。若能见允，不妨为此山另赐一名以为纪念。”真武稽首应允道：“承菩萨善意，敢不应命。”他略一思索便道：“我见此山主峰，一石插天，直入云端，与碧云齐，就谓之‘齐云’吧。”此后，真武大帝虽主要居住在湖北武当山，但也时常来到齐云行宫，与地藏王菩萨研习佛道。
大概在明代，齐云山又被称为“福寿山”，这是因为道教称名山中仙人所居胜地为福地，故名。
齐云山也是一座仙山，自古就有人在此修炼成仙。唐朝末年，有道士龚栖霞云游来到了齐云山，隐居在天门岩，辟古修真，后羽化飞仙。唐朝大诗人，号称“谪仙”的李白“十五习击剑烧丹，二十讲丹丘白岳”，丹丘子是一位道士，也是李白的好友。李白谈丹丘子和白岳，自然与修炼有关。或许丹丘子也曾在白岳修行过。此后，齐云山的山岩下、幽洞中多有道人清修，可惜在史书中留有记载的并不多。大概在南宋时，白鹤仙子引百鸟衔泥，塑成了玄帝即真武大帝神像。真武大帝在本像成后又托梦给道士天谷子余道元，命他装饰金身，兴建真武祠。《齐云山志》记载说，自真武祠创立后，四乡百姓遇旱涝、蝗灾，或求子去病的，凡来齐云的无不有求必应，自此齐云山成为一方道教圣地。到了明朝，齐云山道教活动日趋兴盛。山中道士常往武当山访师求学，因此齐云山的宫观建筑、道规道制，多仿效武当。
明代，武当山道教已深入齐云山。一方面，相传张三丰受真武大帝点化，曾于嘉靖年间到齐云山传教，住在半山上的一小屋中，后于此仙逝，他的徒弟将其肉身藏入一岩洞，尊称“肉身洞”，洞前筑有灵殿，至今仍存，殿后洞口刻有“真身内藏”几个大字。其后世弟子中无心道人比较有名。据他说，张三丰已炼成了超凡入圣，数次死而复活只是神游的表现，这样就可以解释他在齐云羽化后又有很多人在峨眉山看见他的说法了。另一方面，龙虎山张天师在齐云山为嘉靖皇帝求子十分灵验，故皇帝命其居住在齐云山传道。到万历年间，齐云山盛极一时，有“玄帝香火，在均州曰武当，在徽州曰齐云”。清末，因为战祸以及人离修行越来越远，齐云山的道教走向没落。
诸多的修炼之人在此修行，也为齐云山留下了丰富的宫观建筑和仙迹，虽然一些道观经过岁月的磨砺已经破败，但迄今仍保存有27座道观和100多处宫、殿、院、坛、阁，如洞天福地，真仙洞府、月华街、玄天太素宫，香炉峰、小壶天、玉虚宫等等。
从齐云山山脚下攀登，经过登封古桥后，最先到达的是望仙台。从其名字就可以大概猜出这是一个盼望仙人点化的地方。传说1600多年前，在洞天福地修道的灵乙道人在此处受铁拐李点化，飞升成仙。其徒弟布根因六根未净，眼见着师父与铁拐李飞升而去，空中只留有李仙的余音：“布根布根，六根未净，见利忘义，求仙难成，你再修九九八十一年吧！”布根虽然后悔但已经太迟了。不过他记着李仙的话，常常在此站立久望，年深日久竟成立石，原先的名字“冷水亭”也就改作“望仙亭”了。后来人们又改称“望仙台”，并造了望仙亭，亭中有明时立的碑，上刻“齐云镇南天，众星拱北极”。
望仙台的西北方就是洞天福地祠，又称桃源洞天，祠由明代张三丰创建，今已不存，内有明代所建的八卦池、邋遢仙墓、仙人床及宫、阁、殿祠遗址。不远处即是栖真岩、忠烈岩和寿字岩。据说栖真岩是齐云山最早的道士唐朝栖霞真人修行之地，忠烈岩是祭祀关公的地方。而寿字岩的“寿”字是清代慈禧所写。寿字崖之后便见一个宽敞的石洞，称之为“一天门”。洞内摩崖石刻和碑铭琳琅满目，称为"白岳碑林"。
洞天福地往北就是真仙洞府，指的是在数百丈高的悬崖底部的五个洞穴，都曾经是仙人居住之所。这些洞依次为：八仙洞，供奉的是道教的八仙；圆通洞，供奉的却是佛教中的南海观音；罗汉洞，供奉真武帝君，两旁却又供奉着十八罗汉；雨君洞供奉龙王；文昌洞供奉文曲星。从齐云山真仙洞府中可以感受到浓厚的儒、道、佛并存的气息。真仙洞府崖壁上有很多摩崖石刻，其中最为醒目的是崖壁上的“天开神秀”四个大字，为真仙洞府的显著标志。
从真仙洞府再往北行，过二天门和三天门，便来到了月华街。月华街原为道家习武炼丹的地方，现为道人、山民居住。街上的宫观以玄天太素宫最为雄伟。它坐南朝北，背倚着玉屏、东钟、西鼓三峰，前面为孤峰卓立、清秀挺拔的香炉峰，俨然天设地成的钟、鼓、香炉，浑然天成。宫中所奉真武神像相传是由百鸟衔泥塑成。位于月华街长生楼下的小壶天，是一个葫芦形岩洞。“壶天”在道教中是仙境的意思。据说，历史上很多道士在此飞升成仙。
小壶天西北方是位于紫霄崖下、利用天然岩洞建成的洞府玉虚宫，由“太乙真庆宫”、“五虚阀”、“治世仁威官”三个石坊组成，石坊上刻有神鸟异兽图案的浮雕。内有壁画，记述了真武大帝成仙、降魔的故事。此外，还有代才子唐寅撰写，戴炼书写的《紫霄宫玄帝碑铭》，碑高7．34米，宽1．40米，为江南罕见。
齐云山东部的仙迹主要有楼上楼、飞天娱蚣、观音洞、仙人花轿、棋盘石、一线天地等。
历代文人墨客，如李白、朱熹、海瑞、唐寅、戚继光、徐霞客、袁枚等都登临过齐云山，并留下了诸多赞美的诗句。元代著名学者、诗人郑玉的《白岳》一诗堪为代表：
重重烟树霓云里，簇簇峰峦缥缈间。
阑夜松声惊鹤梦，半龛灯影伴人闲；
忽闻环佩珊珊度，知是神仙月下还。
