《中华人民共和国收养法》第十七条孤儿或者生父母无力抚养的子女,可以由生父母的亲属、朋友抚养。抚养人与被抚养人的关系不适用收养关系。第二十九条收养关系解除后,养子女与养父母及其他近亲属间的权利义务关系即行消除,与生父母及其他近亲属间的权利义务关系自行恢复,但成年养子女与生父母及其他近亲属间的权利义务关系是否恢复,可以协商确定。《中华人民共和国老年人权益保障法》第十四条赡养人应当履行对老年人经济上供养、生活上照料和精神上慰藉的义务,照顾老年人的特殊需要。赡养人是指老年人的子女以及其他依法负有赡养义务的人。结合您的情况,您的小叔在小时候被送给他小姨抚养,有可能不适用收养关系,那么他就依然是您爷爷的子女,即使您小叔与他小姨之间形成了收养关系,在其十几岁的时候小姨死亡,如果当时他仍未成年,则属于收养关系终止,亲属关系自动恢复,他还是您爷爷的子女。在以上两种情况下,他当然有赡养您爷爷的义务。如果您小叔回来的时候已经年满18周岁了,那么亲属关系并非自动恢复,但根据您爷爷后面的行为,帮其成家,可以视为双方均有恢复的意愿,因此,您小叔还是要对您爷爷进行赡养义务。综上认为,您的小叔有继续赡养您爷爷的义务。