相传，远古时代，这里住着由五兄弟组成的单亲家庭，由于家境贫寒均未娶到媳妇，但五兄弟为人善良，常到百里以外为孤寡老人干活，为老人深深感动，老人便经常求香拜佛为五兄弟娶媳妇。一日，五兄弟为老人干活回家后，发现屋内换然一新，饭茶飘香。五兄弟兴奋至极，便跨出家门探个究竟，忽然门前大河里一位亭亭玉立的少女正在洗澡，不一会儿，少女披着一块长长的白绢缓缓上岩向五兄弟走来。情急的五兄弟一拥而上，紧紧抱住少女你争我夺，不料急怒了雷神，雷神突然变脸，顷刻电闪雷鸣，狂风四起，倾盆大雨哗哗而下，拆散了五兄弟，狂风刮走了少女身上的白娟。少女为表达真情，不顾雷神反对，竟然赤裸着身子化作山崖，永盼五兄弟。数年后五兄弟在一夜间共梦在少女山崖对面过着花天酒地般的生活，第二天天还未亮，五兄弟上山圆梦，不料，一同猝死在山上。所以此山有仙人夺珠之称，神女峡由此得名。
