在当事人向行政复议机关提起行政复议的期间，行政机关是可以对其进行行政处罚的，也可以进行加罚。《行政复议法》规定，行政处罚可以停止的情形包括：被申请人认为需要停止执行的；行政复议机关认为需要停止执行的；申请人申请停止执行，行政复议机关认为其要求合理，决定停止执行的等。
法律依据:
《《中华人民共和国行政复议法》》第二十一条
行政复议期间具体行政行为不停止执行；但是，有下列情形之一的，可以停止执行：
（一）被申请人认为需要停止执行的；
（二）行政复议机关认为需要停止执行的；
（三）申请人申请停止执行，行政复议机关认为其要求合理，决定停止执行的；
（四）法律规定停止执行的。
《《中华人民共和国行政复议法》》第二十一条
行政复议期间具体行政行为不停止执行；但是，有下列情形之一的，可以停止执行：
（一）被申请人认为需要停止执行的；
（二）行政复议机关认为需要停止执行的；
（三）申请人申请停止执行，行政复议机关认为其要求合理，决定停止执行的；
（四）法律规定停止执行的。
