曹山寺始建于唐咸通（公元870—873）年间，由佛教禅宗、南岳清源法系弟子本寂禅师所创，是中国佛教禅宗五大派系之一—曹洞宗的祖庭。
曹山原名荷玉山，四周的山就像一朵朵的莲花瓣，曹山寺便坐落在莲花瓣当中，犹如一颗莲心。正对着寺庙的山叫供养山，它的形状就像一碗盛满的斋饭，供奉着菩萨，与供养山相对的是虎山，虎山的右边是龙山，它与虎山形成了龙虎之势，与四周的莲花瓣围抱着曹山寺，让曹山寺院端正坐落在正中广阔的空间，面对供养山，形成一个天然的大佛法坛。
《中国旅游文化大辞典》中载：祖师本寂俗姓黄，名元证，法号本寂，系福建莆田人，19岁在福建灵山出家，25岁受戒，得到江西宜丰洞山高僧良介禅师真传，来到宜黄弘扬宗法，他在曹山“法席大兴，学者云萃，洞山之宗，至即为盛”，名扬四海，被称为“曹洞宗”，为中国佛教禅宗五大派系之一，故曹山宝积寺被称为“曹洞宗”’祖庭。
宋明清历代《宜黄县志》和《宗教词典》多版记载：在我国、日本、东南亚、朝鲜多国，至今有千余座曹洞宗派系寺庙和上千万信徒。史载：宋朝嘉定16年（公元1207年），日本学僧道无（承阳大师）来华参禅，拜曹洞宗第十三代祖师如净禅师为师3年，受禅宗和法衣而归，回日本建永平寺作为传播曹洞宗的根本道场，法系繁衍，至今教徒有800多万，寺庙15000多座。
本寂禅师在曹山传法31年，弟子过百，信徒数千。公元901年圆寂后就葬在曹山寺西侧的凤形坑，享年62岁。1743年，清雍正皇帝加封为“定藏元证禅师”，祖师塔于1983年修复。
1982年9月，以日本驹泽大学（属曹洞宗）教授宋田文雄先生为团长的第四次佛教史迹考察团一行十九人，来到曹山宝积寺遗址，虔诚参拜祖师墓塔，流连忘返，感慨万千。表示还将有更多的佛教团体来曹山谒祖庭，结法缘，从而增进中日民间了解和友谊。同时希望海内外众善信，戳力同心，使千年古刹重放异彩，曹洞祖庭再现庄严
1993年春，为落实宗教政策、弘扬佛教历史文化、满足信众过正常宗教生活的愿望，县委、县人民政府作出决定，批准修复曹山宝积寺，并成立曹山寺修复委员会，规划曹山宝积寺工程三十三项，占地五十二亩，建筑总面积达一．四五万平方米；此举得到中国佛协的大力支持，赵朴初会长还亲笔题写了「曹山宝积禅寺」和「大雄宝殿」匾额。江西省佛协常务理事、副会长怀善法师任寺庙住持。
1994年6月，进山公路、高压电线、施工工棚先完成，到一九九五年六月，一座占地二百四十平方米、建筑面积为六百三十平方米的三层仿古式客堂竣工。一楼为佛殿，由萍乡宝积寺转送的缅甸玉佛等佛像有序安放於殿内，赵朴初会长「曹山宝积禅寺」匾额题书复制於门楣。二、三楼为客厅及僧房。此後不久，斋堂、厨房、观音堂相继落成，实现了修复曹山寺第一期工程计划，奠定了全面修复的良好基础。自此，曹山寺法轮启动，香烟缭绕，千年古刹重放异彩、曹洞祖庭再现庄严的愿望正在逐步实现。
