行政机关败诉后若是相对人已经缴纳罚款的，应当归还的罚款。若是行政机关拒绝履行判决、裁定、调解书的，第一审人民法院可以对应当归还的罚款或者应当给付的款额，通知银行从该行政机关的账户内划拨。
法律依据:
《中华人民共和国行政诉讼法》第九十六条
行政机关拒绝履行判决、裁定、调解书的，第一审人民法院可以采取下列措施：
（一）对应当归还的罚款或者应当给付的款额，通知银行从该行政机关的账户内划拨；
（二）在规定期限内不履行的，从期满之日起，对该行政机关负责人按日处五十元至一百元的罚款；
（三）将行政机关拒绝履行的情况予以公告；
（四）向监察机关或者该行政机关的上一级行政机关提出司法建议。接受司法建议的机关，根据有关规定进行处理，并将处理情况告知人民法院；
（五）拒不履行判决、裁定、调解书，社会影响恶劣的，可以对该行政机关直接负责的主管人员和其他直接责任人员予以拘留；情节严重，构成犯罪的，依法追究刑事责任。
