法律无此专门规定。但民法有一项保护公序良俗。如果在你们当地，通常惯例有约定俗成的规矩，祠堂多少范围内不得建房，那么法院可能会认定这是当地社会传统习俗。你个人想要破坏，估计不会得到支持。但如果没这习惯，那对方仅以祠堂百米范围为由，是不行的。除非他找出其他理由，比如你建房未经审批（农村建房也要有审批手续，包括占地手续和建房手续），或者该房屋位置阻挡祠堂正常进出什么的
