离婚协议如去婚姻登记处办理了离婚登记,是有效的,协议约定孩子归男方抚养,但实际女方一直抚养着,可以让女方去法院起诉,变更抚养权,在未变更之前,女方应将孩子交给男方抚养。
我觉得既然协议离婚,孩子全归男方所有,你就应该把小孩归还给他