没有责任 装卸工本身就是从事装卸责任的，他在搬运过程中负的是公伤，如果他有人身意外保险的话 直接可以找保险公司，你不负任何责任，所以也不会扣留你的车出于人道主义，建议你可以去看望他 如果有条件的话可以给他一点费用。
