属于经济纠纷，你可以到法院起诉他，让他在规定时间迁移并且让他赔偿你一切损失，包括诉讼费
有协议在手、他们赖着不迁真的说不过去吧！在说他们这样也是乱占土地总面积，你们完全可以请当地政府部门出面解决此事！不怕他们不迁走的！
如果协议真实有效，你可以用其作为证据去法院提起诉讼，当时你们大意了，应该还要留下视频或者录音等证据，把柄一多，人家还敢那么嚣张吗？
