共产党领导的军队在大力开展抗日游击战争配合正面战场作战的同时，在敌人的后方广泛发动群众，武装群众，逐渐开辟了广大的敌后战场。有晋察冀抗日根据地、晋西北和大青山抗日抗日根据地、晋冀豫抗日根据地、晋西南抗日根据地、山东抗日根据地、华中抗日根据地等。

　　从1937年9月到1938年10月，八路军和新四军同敌人作战1600余次，毖伤俘敌5.4万余人，八路军发展到15.5万人，新四军发展到2.5万人，敌后抗日根据地（包括游击区）总人口达5000万以上。

　　1937年10月，日军向山东进攻。这时，中共山东省委（书记黎玉）指示各地党组织广泛发动群众，举行抗日武装起义。从1937年11月至1938年3月，先后有十几个地区爆发武装起义。在胶东，起义部队从敌伪手中收复蓬莱、黄县、掖县后，用民主的方式推选县长。这是山东最早建立的3个抗日民主县政府。

　　山东省委还向各方面开展统一战线工作，其中成效最显著的是同原国民党山东聊城专区行政专员兼保安司令落筑先建立了合作抗日的亲密关系。中共派遣一大批党员干部、民族解放先锋队队员和爱国青年到范部工作，并帮助他建立了一支5万多人的抗日武装，开辟了鲁西北30余县的抗战局面。 　　

　　中共中央和中央军委非常重视发展山东的抗日游击战争，要求有计划地建立根据地，使山东成为八路军在华北的一个重要战略基地和联系华中新四军的战略枢纽。

　　1938年5月，中共中央派郭洪涛率一部分军政干部到山东工作，并由郭洪涛任省委书记。7月，中共中央根据徐州失守后的形势，将山东省委扩大为苏鲁豫皖边区省委，并决定派一部分八路军的主力部队到山东，以加强这一地区的抗日游击战争，扩大和巩固抗日根据地。 　　

　　1938年，6、7月间，冀南地区的第一一五师第五支队和第一二九师津浦支队向冀鲁边的宁津、乐陵地区挺进，协同当地中共组织领导的抗日武装开展游击战争，建立根据地。

　　1938年9月下旬，第一一五师政治部副主任萧华率第三四三旅司令部和政治部百余名干部到达乐陵，随即成立了冀鲁边区军政委员会。并将空虚地区中共领导的各种武装力量合编成八路军东进抗日挺进纵队，萧华任军政委员会书记、纵队司令员兼政治委员，部队共计万余人。军政委员会提出创建冀鲁边平原根据地的任务和大发展的方针。到1938年底，开辟了以宁津、乐陵为中心，包括沧县、盐山、庆云、东光、南皮等县的平原游击根据地。 　　

　　山东地方部队在鲁南、鲁中、鲁北、胶东等地也着手建立游击根据地。1938年12月，中共中央根据形势的变化，又决定改苏鲁豫皖边区省委为山东分局（郭洪涛仍为书记）；同时，为了加强对山东各地武装起义部队的统一领导，决定成立八路军山东纵队，任命张经武为总指挥，黎玉为政治委员，江华为政治部主任，共约2.5万人。

　　至此，八路军山东纵队成为在战略上有统一指挥的游击兵团，这对巩固和发展山东根据地，坚持长期抗战起了重大作用。 　　

　　山东根据地是联结华北和华中的纽带。为加强山东的工作，1939年3月，罗荣桓、陈光奉命率一二五师师部及三四三旅六八六团由晋西出发到达山东鲁西地区，首战樊坝，全歼伪军一个团800余人。5月，在泰（安）、肥（城）地区的陆战房战斗中，一一五师领导机关胜利突围，粉碎了日军的合围“扫荡”。这次战斗是以少胜多的范例之一。

　　1940年春，六八六团等部攻占了鲁南山区的白彦镇，并粉碎了日、伪军向白彦镇的三次进攻，毙伤日、伪军800余人。此后，他们同山东纵队协同作战，多次粉碎日、伪军的“扫荡”以及国民党顽军的进攻。

　　到1940年底，一一五师、山东纵队和地方武装总计扩大了两倍，达7万余人，建立和发展了冀鲁边、湖西、鲁西、鲁南、鲁中、胶东、清河、滨海等抗日根据地，使山东根据地同华中根据地连接起来。