第六十五条：在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的 ， 由乡、镇人民政府责令停止建设、限期改正；逾期不改正的 ， 可以拆除 。

（3）《畜禽规模化养殖污染防治条例》第七条：禁止在下列区域内建设畜禽养殖场：（一）生活饮用水水源保护区、风景名胜区、自然保护区的核心区及缓冲区；（二）城市和城镇中居民区、文教科研区、医疗区等人口集中地区；（三）县级人民政府依法划定的禁养区域；（四）国家或地方法律、法规规定需特殊保护的其他区域 。 本办法颁布前已建成的、地处上述区域内的畜禽养殖场应限期搬迁或关闭 。

题中所述 ， 该养殖场建了二十多年以后别墅才建起来 ， 这并未违反《条例》第七条的规定 ， 这与“法不溯及既往”原则属于同一性质 。 所以关停可以 ， 但是得给予合理补偿 。