父亲遗留的债务应先用父亲的遗产偿还,父亲的丧葬费也可从父亲的遗产中扣除,剩下的遗产由父亲的法定继承人继承,在这里就是楼主父亲的父母和子女,抚养费应该是在父亲在世的时候主张,现在主张因为父母已经死亡,被主张的对象已经没有了,所以现在主张没有法律依据,当然如果各继承人之间就是同意将多年来的抚养费从遗产中扣除也是可以的。