文溪书院原名涵香书院。清乾隆二年（1737）知县宋云会建于县学西。有讲堂3楹，书室8间。二十八年知县雷士全见求学者甚众，于院西侧扩建，前为大门，中为讲堂，左为山亭，右为岸舫，后为讲堂，前后左右肄业书室共32间，四周树木成荫，绕以回廊。改名"文溪"。

  二十八年知县李玉典、教谕蔡炳勋、训导宋文鉴重建，于讲堂、讲舍 外，两廊添设考棚，兼作课士这所。咸丰九年（1859）因衢州府校士馆毁，邑人集资增建房屋30余间，暂作试馆，补行戊午科试。同治七年（1868）遇风雨，多有毁损。次年知县王景彝重修。