对方不退还保证金可以采取协商、调解、仲裁、诉讼方式处理。一般是先和对方协商、调解，协商和调解应当在当事人自愿的基础上进行。协商不成的，可以搜集证据向人民法院起诉。《民法典》第五百八十七条：债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。