这种情况下你可以向法院申请变更抚养权。首先,对方获得了孩子的抚养权却并没有履行其义务,其次,这两年来你一直在履行抚养孩子的实际权力。从这一点上,对你争取变更抚养权是有利的。而且,孩子已经六岁了,他可以自主表达自己的意愿。法院判决抚养权归属的条件是对孩子成长有利。所以你重新获得孩子抚养权还是比较乐观的。