赵犨出身将门,祖辈为忠武军牙将,赵犨自幼有智谋,与邻里小儿玩耍时,便排兵布阵,自为元帅,小儿们多听其号令,无敢乱行者。其父见到后,很是高兴,说:“吾家千里驹也,必大吾门矣!”成年后,赵犨博学多识,好功名,精于弓马,郡守闻之,擢升他为牙校。会昌年间,昭义节度使刘稹作乱,赵犨随父出征,参与了收复天井关的战役,斩获甚众,因功受封为忠武军马步都虞侯。