霍女士与吴先生于1995年登记结婚，1997年女儿吴小君出生。2000年，霍女士与吴先生先后到南非经商。在此期间，女儿吴小君留在国内交由吴先生的父母照顾。2002年，霍女士与吴先生离婚，双方协议女儿由吴先生抚养。2006年，吴先生在南非死亡，霍女士遂要求吴先生的父母将女儿交由自己抚养照顾，但遭拒绝。
吴先生的父母认为：吴小君出生后，一直由他们抚养照顾，而霍女士在2003年再婚后就没有再尽过抚养义务。对于孩子由谁抚养，应当从更有利于孩子的健康成长出发。孩子从小跟随他们生活至今，早已习惯。如果现在强行变更抚养权，让孩子随霍女士去南非重新生活，对于孩子的成长没有任何好处。另外，吴小君年满10周岁，已具有相当的识别能力，其与霍女士的感情非常疏远，不可能与霍女士共同生活。从孩子的身心健康成长出发，应考虑其个人意愿，而不应强迫其与不喜欢的人共同生活。此外，吴先生在2003年也已与贾女士再婚。再婚之后，霍女士也没有再尽过抚养义务。如今吴先生虽已过世，但孩子还有继母贾女士，孩子的第一顺序监护人应该是贾女士。为此，霍女士前来咨询女儿吴小君的抚养权问题。请根据案例回答以下问题：
将来吴小君成年后，祖父母吴某和陈某能否以抚养过吴小君为由要求吴小君履行赡养义务？