字祖庙在西樵镇“白云古寺”右侧，是清乾隆四十二年(1777)简村堡二十七户文会捐资创建，道光十九年(1839)重修，并改奉祀为“字祖庙”，供奉仓颉传。仓颉传为黄帝史官，汉字的创造者，故称“字祖”。
书院为两进院落四合院式布局，总面积约496平方米，砖木结构，前殿为抬梁架硬山顶，琉璃瓦面阔三间进深一间，瓦檐饰有砖雕人物花草图案，地面铺砌大方砖。柱上刻有隶书楹联；“属右行属左行属下行文化同流巢燧以还聿开书契文治，曰秦隶曰汉隶日晋隶随时递变许徐而外尚多羽翼功臣”。
后殿为面阔三间，进深三间，台梁架，硬山顶。在平面布局上别具匠心在院落的天井中置有一平面方形的四角攒亭。柱上刻有楹联“泥首献丹枕一缕心香通帝宰，罗胸凝沈墨千年脉圣化神仙”。门廊柱联隶书：籀篆子孙隶草曾元孳乳日生宏教泽，羲画开天鸟文察地呸臻风会泄英华。”
