这是民事案件，不是刑事案件，不构成犯罪。你可以去法院起诉打官司，如果法院判决对方不用退还，那你就啥也得不到。如果法院判决对方应该退还，你就等他在法院规定的期限内退还。如果他有能力退还却不在规定期限内退还，你还可以请求法院强制执行。
合同违约金拒绝退换属于经济纠纷，可申请民事诉讼。
如果判决不履行，有可能构成 拒不履行判决罪
