1939年8月1日，八路军第一纵队正式成立。徐向前和朱瑞分别任司令员和政治委员，加强了山东的统一军事领导。山东纵队各部队在鲁中、鲁东南、清河、胶东等地大力开展游击战争，扩大了根据地。

　　小山战斗 1939年5月1日，山东纵队命令四支队抽调4个主力连组成南下挺进支队，赴邹县以东山区开辟工作。7月15日，进至邹（县）滕（县）泗（水）曲（阜）交界的立山、小山一带。23日拂晓，日伪军1000余人，分四路向小山围攻。南下挺进支队英勇反击，战斗从拂晓持续到黄昏，先后打退敌人20多次进攻。特别是扼守山头的战士更加顽强，高喊“中华民族万岁”的口号与敌人展开肉搏。这次战斗，毙伤日伪军200多人，南下挺进支队78人壮烈牺牲。

　　刘家井战斗 1939年5月下旬，山东纵队第三支队按照上级指示，在邹平县刘家井一带集结，准备进军章丘一带。6月6日，日伪军2500余人，向驻刘家井一带的第三支队进犯。敌在受到打击后，又迅速调集3500余人增援，并配备汽车100多辆、骑兵150余名，向第三支队疯狂攻击。第三支队指战员在司令员马耀南、副司令员杨国夫指挥下，固守围墙，坚决抗击，激战竟日，黄昏时分散突出重围。这次战斗毙伤敌七八百人，其中毙敌417人，打击了敌人的嚣张气焰。

　　1939年6月鲁中地区反“扫荡” 1939年6月1日至7月14日，日军2万余人，以沂蒙北部东里店为中心，采用长驱直入、分进合击的战术及多路逐段展开与逐段合击的形式，对鲁中山区发动第一次大“扫荡”。至7月中旬，日军占领莒县、沂水、蒙阴及东里店、鲁村等重要城镇，继而向沂蒙腹地反复进行分区“扫荡”，并安设大量据点，割断了鲁中和鲁东南、鲁南的联系。为粉碎敌人的“扫荡”，山东纵队各部广泛开展游击战。在近两个月的反“扫荡”中，各支队多次避开敌之合击，打击敌人20余次，共歼灭日伪军1000余人。

　　五井战斗 1939年10月25日，山东纵队第一支队在副司令员钱钧指挥下，在临朐县西南的五井反击来犯的日伪军，激战1日，毙日军30余人、伪军70余人，俘日军1人、伪军40余人，缴获迫击炮1门、重机枪1挺、轻机枪4挺。《大众日报》发表了《庆祝临朐大胜利》的社论，称赞五井战斗为山东抗战两年来最模范的胜利战斗。

　　孙祖战斗 1940年3月16日晨，日军300余人、伪军100余人向沂南县孙祖进犯，妄图袭击中共中央山东分局及八路军第一纵队指挥机关。在徐向前指挥下，山东纵队第二支队司令员孙继先率二支队及其它部队，在孙祖附近九子峰伏击敌人。激战1天，当夜逼迫敌退入孙祖村。第二支队等部又连续两夜袭击敌人。残敌不支，仓皇逃遁。此次战斗，第二支队等部击毙日军指挥官小林以下120余人，伤70余人，缴步枪30余支及大批作战物资，并乘胜收复铜井据点。

　　杨家横战斗 1940年5月中旬，日军1000余人“扫荡”泰山区。19日，八路军山东纵队第四支队主力在廖容标、胡奇才指挥下，于莱芜县东北的杨家横伏击敌军一路，激战1天，毙伤日军200余人，俘3人，残敌逃窜，缴大批武器弹药，获重大胜利。

　　鲁中军民粉碎敌“九·一八大扫荡” 1940年9月18日，日伪军出动1万余人，向鲁中根据地发动大“扫荡”。日伪军对莱芜县北之雪野、茶叶、抬头等中心区域烧杀抢掠达1周之久，野蛮摧残根据地，泰山区蒙受重大损失。张店到博山铁路以西地区也遭敌残酷“扫荡”，形势急剧恶化。陈士榘率一一五师独立支队，在费北（蒙山东南）与1000余名日军展开激战。在根据地军民的打击下，敌人的“扫荡”终于被粉碎。

　　山东纵队在广泛开展游击战争中多次进行整训，到1940年秋时，辖有4个旅、4个支队和2个直属特务团，共5.4万余人。山东地方武装和人民武装也发展起来，到1939年底，山东抗日根据地武装自卫团已达10万余人。