并不是所有的行政机关都有行政执法权，仅法律规定的具有行政执法权的行政机关以及受委托组织具有执法权。《行政处罚法》规定，行政处罚由具有行政处罚权的行政机关在法定职权范围内实施。
法律依据:
《《中华人民共和国行政处罚法》》第四条
公民、法人或者其他组织违反行政管理秩序的行为，应当给予行政处罚的，依照本法由法律、法规、规章规定，并由行政机关依照本法规定的程序实施。
《《中华人民共和国行政处罚法》》第十七条
行政处罚由具有行政处罚权的行政机关在法定职权范围内实施。
《《中华人民共和国行政处罚法》》第二十一条
受委托组织必须符合以下条件：
（一）依法成立并具有管理公共事务职能；
（二）有熟悉有关法律、法规、规章和业务并取得行政执法资格的工作人员；
（三）需要进行技术检查或者技术鉴定的，应当有条件组织进行相应的技术检查或者技术鉴定。
