案情：2005年1月15日，某市公安局的执法人员到个体户刘利民的工厂进行检查，发现有多处不符合消防安全标准，如通道狭窄、消防器材上堆放货物等。对此，公安局消防安全处的工作人员作了消防安全检查记录，并提出“限7天改进，罚款人民币5000元”的处理意见，刘利民当场签了字。工作人员当天扣留了刘利民的“消防安全合格许可证”。1月17日，消防安全处对刘利民作出了第82号行政处罚决定书，并于当天送达刘利民。刘在1月18日向市公安局消防安全处缴纳罚款5000元。7天后，消防安全处派人到刘利民的加工厂进行检查，仍认为不符合要求，消防安全合格许可证仍未发还给刘利民，要求刘利民两天内改进。1月25日，消防安全处两次派人到刘利民的加工厂去检查时，发现刘利民的加工厂上锁，便派人通知刘利民第二天同去加工厂检查改进情况，刘以“没有时间”拒绝前往。而且刘利民认为市公安局消防安全处的行政处罚对事实的认定不准确，处罚过重，扣留消防安全合格许可证没有法律依据，于是向市政府申请复议，要求撤销市公安局的行政处罚决定，退还罚款，赔偿因扣留消防安全合格许可证而造成的损失。但复议机关作出了维持原处罚决定的复议决定。
问题：
如果公安局要吊销刘利民工厂的消防安全合格许可证，那么刘利民可否要求举行听证为什么