行政机关对于公司进行的行政处罚确有错误的，可以立即予以撤销，也可以由当事人提起行政复议后撤销。《行政复议法》规定，行政复议机关负责法制工作的机构应当对被申请人作出的具体行政行为进行审查，提出意见，经行政复议机关的负责人同意或者集体讨论通过后，按照下列规定作出撤销的行政复议决定。
法律依据:
《《中华人民共和国行政复议法》》第二十八条
行政复议机关负责法制工作的机构应当对被申请人作出的具体行政行为进行审查，提出意见，经行政复议机关的负责人同意或者集体讨论通过后，按照下列规定作出行政复议决定：
（一）具体行政行为认定事实清楚，证据确凿，适用依据正确，程序合法，内容适当的，决定维持；
（二）被申请人不履行法定职责的，决定其在一定期限内履行；
（三）具体行政行为有下列情形之一的，决定撤销、变更或者确认该具体行政行为违法；决定撤销或者确认该具体行政行为违法的，可以责令被申请人在一定期限内重新作出具体行政行为：
1.主要事实不清、证据不足的；
2.适用依据错误的；
3.违反法定程序的；
4.超越或者滥用职权的。
