庙宇始建于南宋建炎元年（1127年），明代洪武二十七年改建为玄武庙，明代万历五年扩建为玄武山元山寺。经明、清、民国几次修葺，现已颇具规模。玄武山元山寺气势磅礴，建筑非凡。依山势递筑为一组四合院的对称式宫殿群体庙宇，三进殿宇沿多次台阶直通正殿，庙宇格局设计精确，遮阳曲径四通八达，有山门、前殿、中殿、配殿、厅堂、僧房和廊庑等建筑物99间。其整体建筑融宗教建筑、宫殿建筑、民居建筑、园林建筑于一体，具有鲜明的地方建筑特色。它建筑结构严谨，重斗叠拱、高脊飞檐、雕梁画栋、传统瓷贴，充分体现了中国劳动人民的智慧和高超的建筑技术。寺内金碧辉煌；正门上雕龙画凤，装饰精美；门两边两只石狮威武有生气，宛若两个尽职的卫士日夜守护着玄武山元山寺。
一进寺门，可看到里面陈列着众多珍贵的历史文物，其中有：宋代的“北极真武”铜铸像，明代的“释加牟尼”木雕像和宣德香炉，还有清代同治皇帝书赐的“威宣岭表”匾额，清代民族英雄林则徐书赠的“水德灵长”匾额和黑旗军首领刘永福题赠的匾额共3面的“中华文化名匾”。玄武山元山寺是粤东最大、文物保存最完整的宗教庙宇之一，是广东省重点文物保护单位和重点风景名胜区。玄武山元山寺的背后是“福星垒塔”(俗称“玄山塔”）。该干塔为八角形，共3层，高18.8米，塔基周长24米，共用5340多块规格的花岗岩叠成，是一座巨形古艺建筑。塔内有螺旋石梯。拾级而上，第一层是“三元宫”，宫名由商承柞题写，第二层是“文昌殿，殿名由李妮题写；第三层是“魁垣”，两字由秦萼生题写。塔的每层四周群龙含珠，姿态各异，栩栩如生。数只铜钟挂于顶层，风吹叮当作响，声清韵圆。底座四周刻有飞禽走兽，逼真活脱，特别是前面含珠的石狮，更是活灵活现.该塔始建于万历五年（1577年），为土塔，称“福星亭”；清嘉庆二十一年（1816年）改建为文昌阁；清代咸丰戌午年为飓风所毁；清代同治四年（1865年）重建，改造为八角形三层阁式石塔，始称“福星塔”；文革期间的庚戌年腊月炸毁，1981年重建，为花岗岩石塔。它历来是南海碣石湾的导航标志，有“佛灯引明”之称。登上塔顶，碣石镇建筑尽收眼底，远眺可见浩翰的南海，周围的风景迷人，令人心旷神怡。此处名为“碣石观海”，是陆丰旧八景之一。
