行政机关及其执法人员当场收缴罚款的凭证是：国务院财政部门或者省、自治区、直辖市人民政府财政部门统一制发的专用票据。
执法人员当场收缴的罚款，应当自收缴罚款之日起二日内，交至行政机关；在水上当场收缴的罚款，应当自抵岸之日起二日内交至行政机关；行政机关应当在二日内将罚款缴付指定的银行。
【法律依据】
《中华人民共和国行政处罚法》第七十条，行政机关及其执法人员当场收缴罚款的，必须向当事人出具国务院财政部门或者省、自治区、直辖市人民政府财政部门统一制发的专用票据；不出具财政部门统一制发的专用票据的，当事人有权拒绝缴纳罚款。
