第一轮土地承包时是别人家的耕地由于他家放弃经营第二轮土地承包时村上承包给我家，现在他家想要回怎么办。