糟谷家は江戸時代を通じてこの地方の大地主であり、三河木綿の江戸送りの総問屋として栄えた旧家である。 建物は東側の「みせ」部分が最も古く宝暦13年以前である。西側の数寄屋部と庭園は明治初期に久田栄甫の設計で建てられた。長屋門は大滝藩小牧陣屋からの移築で鬼瓦に延享元年(1744)の銘文がある。土蔵も二棟ある。