抗战时期，山东沂水县城为鲁中区域的中心城市，日伪对鲁中抗日根据地进行“扫荡”的指挥机关就设在这儿。敌人在这一战略要地构筑工事，加固城防，建筑机场，以重兵据守。
1944年夏，跟着抗日战争的节节胜利，遵循山东军区指示，八路军鲁中军区决议会集4个主力团、军区间谍营及当地抗日装备和民兵一部，于1944年8月15日晚建议沂水战争，一举光复沂水县城。详细布置是：以两个团进攻沂水县城；1个团进犯南关，1个团和军区间谍营、当地抗日装备一部进犯外围据点。战前，鲁中军区侦察员使用黑夜抵达郊外，摸清了敌人的军力装备状况——沂水县城有3米高的稳固围墙，城墙外有宽5米、深3米、积水1米多深的壕沟，壕沟外布满着鹿寨和铁丝网；县城内驻有伪军8个中队共1000多人；城南关驻有日军1个分队，散布于东南角、正东、东北角、西北角、西南角和中心6个大碉堡内。针对敌人的布置，鲁中军区辅导部队进行了充沛的安排预备、物资预备和攻坚练习。
8月15日夜，八路军参战各部队隐秘进入预订方位。22时战争打响，攻城部队对城门、城墙、火力点施行接连爆炸，云梯组敏捷架起云梯，突击队爬墙强攻。激战不到30分钟，突击队相继打破北门、东门、西门，与敌人打开巷战。16日上午，八路军使用伪军家族和俘虏打开政治攻势，迫使数百被围住的伪军缴械投降。战至16日下午2时，被八路军压缩到城西南角小围子内的伪军残部被歼，伪县长也被活捉。与此一起，沂水县城周围各据点也被八路军悉数霸占。
15日夜，进犯南关的鲁中军区部队，对南关敌人据点施行接连爆炸，接连摧毁东南、西南两个碉堡。日军不支，退守于东北、西北、东和中心4个碉堡，向外很多施放毒气，垂死挣扎。16日黎明，鲁中军区部队再次施行爆炸，又摧毁了东碉堡，全歼守敌。东北碉堡的敌人弹药耗尽，只得悄然跑出碉堡，回中心碉堡取弹药。八路军发现后，悄然摸进碉堡。不久，东北碉堡的敌人带着弹药回来，遭到八路军迎头痛击，登时死伤多半，只要3个敌人幸运逃回中心碉堡。
16日上午，莒县日伪军乘8辆轿车赶来声援，途中被鲁中军区事前布置的阻击部队打得丢盔卸甲，难堪回窜；蒙阴日伪军一部也赶来救援，行至坦埠邻近，也被打援部队埋伏，大北而归。
16日晚，八路军将日军中心碉堡和西北碉堡切割，并决议于深夜先攻取西北碉堡。战争打响后，兵士们短兵相接，近距离爆炸，于午夜前拿下了西北碉堡。午夜后，八路军对敌人中心碉堡建议强攻。中心碉堡守敌张狂向外射击，并再次施放毒气。八路军指战员耐性等候毒气散失，持续向中心碉堡建议进犯，但两次爆炸均未见效。经指挥员调查，本来敌人中心碉堡建在一个由巨石建筑的基座上，基座有1米多高，前两次爆炸，炸药包都放在基座上，没能炸到碉堡围墙。八路军爆炸组当即调整战术，把50公斤的炸药包捆在带叉的长竿上施行第三次爆炸。跟着一声巨响，中心碉堡墙面被完全炸塌，守敌被悉数击毙。
17日6时，战争完毕。鲁中军区首长一面指挥打扫战场，一面会集部队于南关日军碉堡群，总结攻坚经历；一起发动周边大众万余人撤除了沂水县城的城墙、炮楼，填平外壕。
为夺回沂水县城这一战略要地，日军会集千余人和大批伪军，蜂拥向沂水县城扑来。鲁中军区部队在打扫战场后，当即撤出郊外待机歼敌。19日，声援敌人进城，见城内敌人已遭全歼，城墙也被撤除，登时手足无措。20日，八路军忽然向敌人建议进攻，敌人连遭冲击，不得不向莒县逃走。从此，被日伪军占据6年之久的沂水城回到公民手中。
此次战争，八路军鲁中军区部队共毙伤日军31人、伪军219人，生俘日军20人、伪军820人，不只稳固了鲁中山区抗日根据地，更使鲁中、沿海两个抗日根据地连成一片。