经过短期整训，中共胶东特委在牟平县马石店召开会议，决定林一山任胶东军政委员会主席兼“三军”总指挥；宋澄任“三军”政委；吕志恒任军政委员会副主席。之后，在吕志恒等率领下西进抗日。“三军”主力由文登、牟平一带出发，向蓬莱、黄县、掖县战略要地开进。西上途中，攻克福山，袭击烟台，所向披靡，并将胶东各地起义队伍统一整编为四路，开辟了蓬、黄、掖抗日根据地，建立了县区抗日民主政权。

　　1938年9月18日，“三军”各路和掖县“三支队”在掖县沙河镇整编为“山东人民抗日游击队第五支队”，高锦纯任司令员，吴克华任副司令员，宋澄任政委。所属编为十九旅、二十一旅和二十五旅3个旅。十九旅旅长高嵩，政委宋竹庭，参谋长王瀛洲，政治部主任李丙令。下辖六十一团，团长赵一萍，政委刘中华；六十三团，团长于得水，政委张玉华；五十五团，团长李华，政委常青。二十一旅旅长郑耀南，政委李耀文，政治部主任张加洛。下辖六十二团，团长徐承勋，政委张寰旭；六十四团，团长陈龙飞，政委翟瑞甫。二十五旅旅长刘万玲，政委柳运光。下辖六十五团，团长李兆岐，下委王云恨。12月，“八路军山东纵队”正式成立，胶东部队原部“山东人民抗日游击队第五支队”奉命改称“八路军山东纵队第五支队”，下辖6个团，共7000余人。后来，在原胶东党政军领导机构的基础上，组成了胶东区党委、胶东行署、胶东军区。