东塔始建于唐咸通十年(869年)，一说建于北宋开宝二年(969年)，曾毁于兵火，南宋绍兴十年(1141年)重建。元至正，明万历，清乾隆多次重修。塔高28米，底径8米余，6面7层，青砖围砌。过去外围层层有平座、栏杆和出檐，内有扶梯直上塔顶，可俯瞰瓯江澎湃，饱览风光旖旎的鹿城全貌。清光绪二年（1876年）“中英烟台条约”签订，温州辟为商埠。1894年始在东塔山下建造英国驻温领事馆，次年落成。英借口警卫工作需要，强迫温州地方当局拆除东塔内外的飞檐走廓，留下这座中空无顶的塔身。塔顶自然生长一株100多年树龄的榕树，无土培植，根垂塔中，全年常绿，实为奇观。今塔仍巍峨雄伟，像一座饱经风霜、历尽沧桑的历史丰碑矗立在东峰之巅。
西塔始建于北宋开宝二年(969年)，一说建于唐咸通十年(869年)，明、清曾多次修缮。塔高32米，底径7米，6边形，7层，中空，系楼阁式青砖仿木构建筑。远远望去，碧水蓝天，全身披绿的西峰山托着砖红色宝塔，塔刹直入云端，蔚为壮观。就近处，江风吹动四十二个檐角的铜风铃送声，四周枝头飞禽清脆的啼呜，交响成趣。塔每层每面均有小佛龛，内置石雕佛像，造型精致，神态自然，有颇高的艺术价值，塔周围置青石坐凳，万木扶疏，清幽格静，引人遐思。因塔身倾斜，曾于1982年进行大修葺。今塔仍保持宋代风格。
东西双峰崖岩挺秀，自然天成，林木蓊郁，葱葱茏茏，山不高，有东西千年宝塔而得名。攀登陡峭石阶小径，可上山顶观塔。每塔旁立有青石碑二方、古亭一座。游人至此，纵谈古今，神思激越。东西双塔，屹立于孤屿，遥相呼应，活绘出江心屿的优美轮廓，成为温州的—个标志。
1981年东西双塔列为温州市第—批文物保护单位。1997年东西双塔被国际航标组织列为世界百座历史文物灯塔之一。国际航标协会正式宣布其为世界航标遗产。
