沈氏宗祠始建于清道光四年(1824年)，当时只有后进正屋五间，至清道光十五年(1835年)又建前进五间，但均未告竣。至清鹹丰二年(1852年)，前后进正屋被修葺一新，并配建左右厢房及阶砌、照墙、台门等(据说，祠堂的照墙一般只能建成一字形，因沈氏祖先出过贡元，才允许建成八字形)，工程才算告竣。之后，沈氏宗祠又经多次修葺，现存祠堂是1994年重修的。

宗祠后进靠南墙，原供有历代祖先牌位，正中最高处供奉着林十五公神主，然后按元亨利贞四派排列，昭穆有序，可惜在文革中以扫“四旧”之名被焚。当年，每到七月十三祭祖，族长、四房头等相聚在祠堂，报告一年的开支账目，并商讨第二年公用设施修缮等事宜。与外村发生纠纷及本族成员犯有众怒，都到祠堂，由族长、房头商量后解决、处理。

在沈氏宗祠檐下左首悬“玉洁冰清”匾，是朝廷表彰绍能公姚氏孺人“青年守志，操同松柏”事迹的，檐下右首“钦旌节孝”匾是赐给景公徐氏孺人的。

清道光十一年(1831年)，姚氏嫁到柿林当天，其夫在察看祖坟时，不幸被老虎拖走。新婚丧夫的姚氏没有再嫁，孝敬公婆，照料侄子，直至晚年双目失明，还留下遗嘱把家产赠送给侄子，其节孝感动了朝廷。宗祠内还有两块“节孝”匾，分别挂在中堂两侧，一块是清光绪元年(1875年)浙江巡抚奉旨为作臣胡太孺人作的，一块是清光绪二十三年(1897年)五品同知绍曾上表奏请表彰万丰公黄氏孺人的。