终南山古名太一山、地肺山、中南山、周南山，简称南山。据说因为山在周王朝的南面，故名南山，也叫终山，即陆终居地而得名。《禹贡》有“终南悖物”之句。因汉武帝曾在这里祭祀过太乙神，故又名为太乙山或太一山。《汉书·地理志》载：“扶风武功县有太一山，故以为终南。”宋朝程大昌《雍录》卷五称：“毛氏曰：‘终南，周之名山中南也，中南即终南也。’《关中记》曰：‘中南，言居天之中，都之南也。’又曰：‘终南、太一，左右三十里，内名福地。’”清朝阎若璩《尚书古文疏证》考据说：“终南，南山之总名；太一，一山之别号。”
道教始终将终南山看作“洞天之冠”，“天下第一福地”，所以未将其列入洞天福地的名册中。东晋葛洪《抱朴子内篇·金丹》还将其列为“合作神药”的名山之一。
相传春秋时，周康王的大夫、天水人尹喜常在终南山结草为庐。他善于观察天文现象。一日，他见紫气东来，吉星西行，知道必有圣人经过函谷关西行。于是，尹喜求为函谷关令，并预先斋戒，等待圣人的到来。后来身披五彩云衣的老子果然来了，并在楼南的高岗上给尹喜留下了五千言，这就是对后世影响深远的《道德经》。尹喜后来也得道成仙。
根据史料，秦时，就有人在终南山上修炼。北宋宋敏求《长安志》卷十一引晋皇甫谧《高士传》曰：“秦有东园公、夏黄公、绮里季、角里先生，时呼四皓，共入商洛，隐地肺山，以待天下定。及秦败，汉高帝召之，四人乃深自匿终南山，不能屈之。”据说东园公、夏黄公、绮里季和角里先生这四个人后来都成了仙。《晋书·王嘉传》记载了在终南山修行的东晋道士王嘉的事迹。他是陇西安阳人，先是在东阳谷隐居，凿岩穴居。跟从他修炼的人有数百人，也都住在洞穴中。据说王嘉不仅不食五谷，而且可以预知道、吉凶，会隐身之术。在石季龙叛乱后，他独自来到长安，悄悄隐居在终南山，结庵庐而居。后来前秦苻坚派人询问淝水之战的胜负。王嘉先说了“金刚火强”，然后骑上使者的马，向东行数百步后纵马急驰而回。一边骑马，一边脱下衣帽、鞋子，下马后盘在床上一言不发。其意思是苻坚大败。后来苻坚果然战败，前秦灭亡。
南朝宋时有李和隐居终南山，101岁时坐逝。唐朝时则有新罗人金可记、孙思邈等居终南山修炼。唐末五代后，钟离权和吕洞宾亦与终南山结下了很深的渊源。此二人后位于“八仙”之列。宋释志磐《佛祖统纪》卷四十三记载，五代时的钟离权，自称南汉时遇上了仙人王玄甫，得到了长生之道。后为了躲避战乱進了终南山，并在此修行。唐时的吕洞宾，在长安酒肆遇见了钟离权，随即跟随他進入终南山修道。后亦得道成仙。还有一个叫刘海蟾的，也受钟离权点化，遁迹终南山下；后丹成尸解，有白气自顶门出，化鹤冲天。
到了金、元时期，全真道教因宗祖钟离权、吕洞宾和创教祖师王嚞最初在终南山修道，因此终南山成为全真道最早的发源地。在成吉思汗的支持下，邱处机建造了大量宫观，使终南山道教走向了鼎盛。在此修行的道士人数众多，《终南山祖庭仙真内传》所载即不下数十人。明清时期，仍有一些道士在终南山修道，但此时的道教已趋衰落。
西汉时，终南山上就建造了太乙宫。唐代时建起了一批宫观。比如太和宫（后更名为翠微宫）、四皓庙、广惠公祠、会灵观等。从元初起，终南山相继建起了以重阳万寿宫为中心的大批宫观。重阳万寿宫，金代名灵虚观，蒙古乃马真后三年（1244）赐额重阳万寿宫。还有遇仙观，传为王嚞甘河遇仙处。此外，还有通仙万寿宫、栖云观、集仙观、太一观、玉华观、白鹿观、筠溪道院、纯阳演化庵等，皆建于元代。明清时期，终南山原建各宫观，除少数外，大多因为年久失修而废弃。
除了修道之人在终南山上修炼外，在北魏太武帝和北周武帝的两次灭佛后，随着长安城内的僧人因避难至终南山，佛教开始在终南山上得以发展。一些僧人开始在此修行。因此，除了道家仙迹外，终南山上还有佛家圣迹，比如在南五台，它是以大台、文殊、清凉、灵感、舍身五个小台（即五座小峰）而得名，还有明清以来建造的大小庙宇40多处。
唐太宗李世民曾作《望终南山》一诗：
出红扶岭日，入翠贮岩烟。
叠松朝若夜，复岫阙疑全。
对此恬千虑，无劳访九仙。
