A公司为支付所欠B公司货款，于1998年5月5日开出一张50万元的 商业承兑汇票。B公司用此汇票进行背书转让给C公司，以购买一批原材料。但不久B公司发现C公司根本无货可供，是一场骗局，于是马上通知付款人停止向C公司付款。C公司获此票据后，又将此票据背书转让给了D公司，以支付其所欠工程款。D公司用此汇票向E公司购买一批钢丝，背书时注明了“货到后此汇票方生效”。E公司于1998年7月5日向付款人请求付款。付款人经审查后拒绝付款，理由是：
⑴C公司以欺诈行为从B公司获取票据的行为是无效票据行为，B公司已通知付款人停止付款；
⑵该汇票未记载付款日期，且背书附有条件，为无效票据。随即，付款人便做成退票理由书，交付于E公司。
付款人可否以C公司欺诈行为为由拒绝向E公司支付票款？为什么？