龙门由大禹在治水中所开凿，鱼跃龙门的传说亦发生于此。其石窟则于北魏孝文帝迁都洛阳（493年）前几年开凿。
一、禹凿龙门
大禹开凿的龙门山，就是现在龙门石窟所在。《水经注》记载：“昔大禹疏龙门以通水，两山相对，望之若阙，伊水历其间，故谓之伊阙。”
在禹凿龙门之前，龙门山是一个相连的整体，不分东西两山。
伊水在龙门山之南积聚，受阻于此山无法向北流出，形成了一片汪洋，时常洪水泛滥。因此，大禹凿开龙门山，使龙门山分为东西两半，伊水便得以从两山中间向北流出。龙门山可作东西两山的统称，在其被伊水（伊河）分为两半后，其东山于武则天建香山寺后而专称“香山”，而西山则继续称“龙门山”。
传说中那个洪水泛滥的时期，洛水和伊水都因受阻而形成一片大的汪洋，类似于堰塞湖，当然在那个时期形成的规模远比堰塞湖大得多。人民窘困不堪，溺死甚多。大禹甚至遭受洪水之苦，于是带领人民首先疏通了洛水，使之注入黄河，而伊水受阻于龙门山，因此凿开龙门山使得伊水和洛水汇合一起注入黄河，从而解决了这里的水患。
《汉书·沟洫志》记载：“昔大禹治水，山陵挡路者毁之，故凿龙门，辟伊阙。”
洛阳龙门山为名副其实的石山，在坚硬的石山上开凿龙门，是否是操用简陋治水工具的大禹所为呢？这一点，今人有不少的异议。
但《水经注》的作者、北魏地理学家郦道元和《汉书》的作者、东汉历史学家班固的记载决非凭空想像。至少可以认为大禹在这个地方确实疏导过水势，修整过河道。春秋时期的左丘明写《左传》，离大禹治水的时代并不遥远。
《左传》上记载了一段刘定公在洛阳发出的感慨：“美哉禹功，明德远矣，微禹，吾其鱼乎！”显然，春秋时期人们对大禹开凿龙门治理伊洛河的故事是深信不疑的。正因为如此，人们对禹凿龙门、辟伊阙写下了数不清的赞美诗。
唐代诗人成萼在《登圣善寺阁望龙门》诗中云：“高阁聊登望，遥分禹凿门。”
另一位唐代诗人刘沧也有“城连伊水禹门近”的诗句。宋代寓居洛阳的大历史学家司马光留下“凿龙山断开天阙，导洛波回载羽觞”的名句。
明清时期，“龙门山色”被列为洛阳八大景之首，人们在赞美龙门风光的同时，更是赞美大禹的神功，如明代诗人吕维祺在以“龙门山色”为题的诗篇中，就曾发出“万世神功禹削凿”的感叹。
最初大禹治水的传说集中在夏人活动的中心伊洛地区，但由于黄河大于伊水，该传说后来就被搬到了黄河，黄河峡谷亦称龙门。
二、鱼跃龙门
鱼跃龙门的传说故事，便发生在今洛阳龙门石窟所在地。李白《赠崔侍御》：“黄河三尺鲤，本在孟津居，点额不成龙，归来伴凡鱼。”诗中的“孟津”即今洛阳下辖县，北临黄河。
相传，禹辟伊阙以后，水流湍急，游息于孟津（今洛阳下辖县）黄河中的鲤鱼，顺着洛、伊之水逆行而上，当游到伊阙龙门（今洛阳龙门石窟所在地）时，波浪滔天，纷纷跳跃，意欲翻过。跳过者为龙，跳不过者额头上便留下一道黑疤，所以唐代大诗人李白在《赠崔侍御》诗中写道：“黄河三尺鲤，本在孟津居，点额不成龙，归来伴凡鱼。”
鱼跃龙门，又称鲤鱼跳龙门、鲤跃龙门等。比喻中举、升官等飞黄腾达之事。也比喻逆流前进，奋发向上，事业成功或地位高升。
三、伊阙之战
在龙门伊阙的石窟开凿前，曾爆发过一场伊阙之战。周赧王二十二年（前293年），大将白起率秦军在伊阙龙门大破魏韩24万联军，彻底扫平秦军东进之路，亦可谓白起的成名之战。
战争中，秦将白起针对韩、魏两军互相观望，不愿当先出击的弱点，以少量兵力钳制联军的主力韩军，以主力猛攻较弱的魏军。魏军无备，仓促应战，迅即惨败。韩军震慑，且翼侧暴露，遭秦军夹击，溃败而逃。
白起乘胜挥师追击，全歼韩魏联军24万人，攻占伊阙，夺取魏城数座及韩国安邑以东大部分地区。魏、韩两国割地求和。战后，韩国精锐损失殆尽。秦国则以不可抗御之势向中原扩展。
白起擂鼓台，位于龙门桥东边，据说那里就是伊阙之战时，白起擂鼓助战的地方。
四、凿刻石窟
过去认为，龙门地区石窟的营造自北魏至宋，实则不然。
龙门地区的石窟始凿于北魏，盛于唐，终于清末。历经北魏、东魏、西魏、北齐、隋、唐、五代、宋、明、清等10多个朝代陆续营造长达1400余年，是世界上营造时间最长的石窟。
在龙门的所有洞窟中，北魏洞窟约占30%，唐代占60%，其他朝代仅占10%左右。
北魏，代表洞窟有古阳洞、宾阳中洞、莲花洞等。
东、西魏造像，大都是在北魏洞窟壁面上补刻小龛。龛形无大变化，龛饰趋于简化。另有东魏强弩将军掖庭令赵振造弥勒像记、东魏武定元年铭石造释迦五尊立像等。
北齐，药方洞中五尊佛像都是北齐造像的特征。另有北齐延军舍合邑廿二人等造像记等。
隋唐五代，代表洞窟有大卢舍那像龛、敬善寺、万佛洞、惠简洞等，是龙门石窟造像的鼎盛时期。
宋代，分布有陈抟“十字卷碑”、宋真宗“龙门铭碑”。宋朝还在龙门石窟新凿了一些洞龛，并为保护卢舍那雕像，加盖了9间木构屋檐式建筑，俗称“九间房”。
明代，惠简洞窟外门楣表面，以阴线刻出五个方形及半圆形碑首碑形题记，时代均为明万历31年3月吉日立，为捐资修路的题记。
清代，乾隆帝于1750年游幸龙门，在龙门香山寺留下御碑亭。1900年八国联军侵华慈禧太后西逃。回京时途经龙门参观了古阳洞，下令把洞中主佛释迦牟尼整修成老君像，洞改名“老君洞”。
