石钟山地势险要，陡峭峥嵘，因控扼长江及鄱阳湖，居高 临下，进可攻，退可守，号称“江湖锁钥”，自古即为军事要塞，成为兵家必争之地。登临山上，既可远眺庐山烟云，又可 近睹江湖清浊。(因为水的密度，高低，流向不同，所以江和湖不会混成一体)如在月色之夜，可谓“湖光影玉壁，长天一月空”。自古以来，文人雅士络绎不绝来此山赏景。
如唐代李勃， 宋代苏拭、陆游，元代文天祥，明代朱元璋，清代曾国藩等。 郭沫若留诗《登湖口石钟山》于此。石钟山从唐代起就有建筑， 经历代兴废，现仍存怀苏亭、半山亭、绀园、船厅、江天一览 亭、钟石、极慈禅林、听涛眺雨轩、芸芍斋、石钟洞、同根树 等景点，但多为清代重建。
清咸丰八年（1858）彭玉麟等奉上谕建造，是石钟山的主体建筑。祠分前庑后庑，面对江湖，视野开阔。曾国藩、彭玉麟均有记，并手书碑刻，曾、彭等若干人为祠撰写的长短联达百余幅。祠前辟有广场，祠两侧古樟也是彭玉麟等手植。祠内新创编钟古乐演奏项目，所用编钟系按湖北曾侯乙古墓出土编钟仿制。
