秦某自己开设了一家罐头厂，为了引进先进的生产流水线急需资金10万元。秦某向银行贷款，以自己一套价值5万元的祖传翡翠珠宝作抵押，并签订了抵押合同。但未办理登记。之后，秦某向开食油加工厂的好友吴某借款5万元，又以这套珠宝作为质押，双方签订了质押合同并转移了珠宝的占有。借款后，秦某开始引进流水线，并培训生产人员。但是，由于流水线质量不合格，加工出来的罐头销量很低，罐头厂濒临破产。同时，吴某在占有质押的珠宝期间，由于保管不善，将一条手链弄断，送珠宝商赵某处修理，但是由于滞交修理费被留置。根据这些情况，回答下列问题：
如果银行要求行使抵押权，吴某要求行使质押权，赵某要求行使留置权，应该由谁先行使权利？并说明理由。