某投资公司建造一幢办公楼，采用公开招标方式选择施工单位。招标文件要求：提交投标文件和投标保证金的截止时间为2008年5月30日。该投资公司于2008年3月6日发出招标公告，共有5家建筑施工单位参加了投标。第5家施工单位于2008年6月2日提交了投标保证金。开标会于2008年6月3日由该省建委主持。第4家施工单位在开标前向投资公司要求撤回投标文件和退还投标保证金。经过综合评选，最终确定第2家施工单位中标。投资公司(甲方)与中标单位(乙方)双方按规定签订了施工承包合同，合同约定开工日期为2008年8月16日。工程开工后发生了如下几项事件。
事件一：因拆迁工作拖延，甲方于2008年8月18日才向乙方提供施工场地，导致乙方A、B两项工作延误了2d，并分别造成人工窝工6个和8个工日；但乙方C项工作未受影响。
事件二：乙方与机械设备租赁商约定，D项工作施工用的某机械应于2008年8月28日进场，但因出租方原因推迟到当月29日才进场，造成D工作延误1d和人工窝工7个工日。
事件三：因甲方设计变更，乙方在E项工作施工时，导致人工增加14个工日，相关费用增加了1.5万元，并使施工时间增加了2d。
事件四：在F项工作施工时，因甲方供材出现质量缺陷，乙方施工增加用工6个工日，其他费用1000元，并使H项工作时间延长1d，人工窝工24个工日。
上述事件中，A、D、H三项工作均为关键工作，没有机动时间，其余工作均有足够的机动时间。
[问题]
第4家施工单位撤回投标文件，招标方对其投标保证金应如何处理？为什么？