抗日战争爆发后,任八路军第129师师长,和政治委员邓小平一起,率部奋战在太行山上。面对不可一世的日本侵略军,他经常用“勇是男儿头上的桂冠”、“无角绵羊受欺压,有蛰的黄蜂不可侮”等话语来激发将士们的对敌斗争信心。他指挥部队先后进行了夜袭阳明堡、设伏七亘村以及长生口、神头岭、响堂铺、晋东南反“九路围攻”、冀南反十一路“扫荡”、百团大战中的正太榆辽等一系列著名战役战斗,给侵华日军以沉重打击,创建了晋冀鲁豫抗日根据地。他坚决执行中共中央、中央军委的战略方针,积极组织正规军、游击队和民兵相结合的游击集团,并组建大量武装工作队,实行“敌进我进”,向敌占区、交通线广泛出击,粉碎了日伪军的频繁“蚕食”和残酷“扫荡”。与此同时,他率部多次反击国民党顽固派对根据地的进犯,牢牢把紧太行山这道华北抗日根据地的“南大门”,使“平辽半壁山”得以免遭敌寇的蹂躏涂炭。