双方解除合同，钱退回的时间一般是合同解除之后。根据法律规定，合同解除后，尚未履行的，终止履行，已经履行的，根据履行情况和合同性质，当事人可以请求恢复原状，所以一方当事人交付了钱款的，有权在合同解除后要求另一方当事人返还。
法律依据:
《中华人民共和国民法典》第五百六十六条合同解除后，尚未履行的，终止履行；已经履行的，根据履行情况和合同性质，当事人可以请求恢复原状或者采取其他补救措施，并有权请求赔偿损失。
合同因违约解除的，解除权人可以请求违约方承担违约责任，但是当事人另有约定的除外。
主合同解除后，担保人对债务人应当承担的民事责任仍应当承担担保责任，但是担保合同另有约定的除外。
