我卖了一个房子,合同约定他公积金贷款,共分三期打款,可是他并没做贷款,每次都都是无故迟期,打款第一期迟了7天,并且不给钥匙就不打款了,中介一再要我给他钥匙,我没办法只好给天,他已进驻装修,我们写了协议;出现任何问题,我都不承担责任违约罚款,第二期迟了13天。第三期迟了47天,我多次催他打款,我卖房是急等用钱,中介还说;大不了让他请你吃顿饭。太欺负人了,我能解约吗