张三、李四、王五三人达成一书面合伙协议，约定各自出资2万元，共6万元，开立一家小饭馆，并按出资比例平均分配盈余，分担亏损。该饭馆取名"夜来香饭庄"，2002年1月经核准注册，取得营业执照，开始营业。到2002年底，因经营管理不善，夜来香饭庄负债累累，欠金星装修公司4万元钱尚未偿还。此时王五提出退伙，张三、李四二人不同意。王五于2003年2月提走其出资的2万元，自行退出。张三、李四二人继续经营夜来香饭庄。2003年9月，张三、李四二人为了增加菜的花样，招揽食客，于是想招聘重庆名厨，推出重庆火锅系列，但资金不足。于是张三、李四二人向王一提出借款2万元，2004年1月1日归还。王一同意借款，但提出一条件，若饭庄盈利后，张三、李四二人除还本付息外，还应将所得利润分一份；若不盈利，张三、李四二人则届时还本付息。推出重庆火锅系列后，饭庄并未盈利，亏损仍然继续，到年底，又亏损了l万元。 2004年1月，金星装修公司因向夜来香饭庄索债不成，便诉至法院，同时王一也因张三、李四二人不能届时还本付息，向法院提出诉讼。法院对此进行合并审理。
被告方张三、李四认为，王五不经二人同意，自行退伙无效，故按合伙协议，夜来香饭庄对金星装修公司所欠4万元债务、对王一所欠2万元债务以及对饭庄的亏损均应承担三分之一的份额。张三、李四的辩称有理由吗