自古以来,文人雅士络绎不绝来此山赏景。如唐代李勃, 宋代苏拭、陆游,元代文天祥,明代朱元璋,清代曾国藩等。 郭沫若留诗《登湖口石钟山》于此。石钟山从唐代起就有建筑, 经历代兴废,现仍存怀苏亭、半山亭、绀园、船厅、江天一览 亭、钟石、极慈禅林、听涛眺雨轩、芸芍斋、石钟洞、同根树 等景点,但多为清代重建。
全山分上下两部分,面南临湖的是上石钟山,靠北濒江的是下石钟山。两山总面积有十万平方米,海拔67.7米。山虽不高,但悬崖峻拔,突兀峥嵘,插湖锁江,气势不凡。历史上这里发生过多次激战,如朱元璋与陈友谅之战,太平天国军曾在此重创曾国藩水师,李烈钧领导的二次革命在此高举义旗,百万雄师渡大江在江阴至湖口突破国民政府的长江防线。古往今来均为兵家必争之地。