岛上有悠久而丰富的人文景观。相传大禹治水在此勒石的石刻已经磨灭，宋米芾写的“眠云”二字与清人石刻“凌波第一、锦袜无双”均在。岛上曾建有大仙女庙、天后宫、梳妆台、七层塔等建筑。唐武则天时，起兵谋反的徐敬业兵败后，削发为僧，隐居于此。
除了独特的风光与众多的古迹外，鞋山还栖息着一些鹭鸟——苍鹭和白鹭。苍鹭个体高大，双翼伸展可达一米多。鹭鸟终年在鄱阳湖上空同回旋南北的气流捕击，特别善于飞翔。往来船只上的旅人、水手向他们投抛食物，无论高低远近，都能准确地接获，故史书称之为“乞食鸟”。这一奇迹，大大地增添了大孤山神秘色彩。
关于鞋山，流传着许多动人的故事。除了仙女失鞋成岛的神话外，最有名的要数晋《搜神记》所述的那则故事了。那故事说：有一天一位商人乘船路过鞋山，遇见两位年轻姑娘，问他是不是去都市？请给我们买两双鞋来。那商人以为这两位女子是神女，所以到城市后立即买了鞋，返回时停舟鞋山，将买的鞋放在竹制的笥中，虔诚地将那笥（一种方形竹器）连鞋捧送到山顶庙堂神像前。上船后正要启程远去，忽然一条大鲤鱼从水中跃进船舱，将鱼剖开一看，鱼腹中有他忘在笥中的书与刀。
这些优美动人的故事，当然是人们编造出来的，其实鞋山的出现绝不是仙女遗失的绣履，而是第四纪冰川的杰作。当冰川大军挥师向鄱阳湖一带进军时，这块巨石横卧湖中，挡住了冰川的去路。冰川无奈，只好从它的左右两侧擦过，经过千百年的磨削，巨石成了今天这前窄后宽、形状如鞋的模样。
