2月初，石友三部投靠日军，向北反扑冀鲁豫边区的濮阳。杨得志指挥支队对石部发起讨逆战役，5次战斗歼敌2500余人，俘敌800余人，缴获枪支800余支，给石部以沉重打击。
随着反顽击叛斗争的胜利，直南、豫北、鲁西南党组织广泛发动群众，初步实行民主、改善民生，建立抗日民主政权，并在此基础上，于4月17日成立了冀南六县专员公署，4月30日建立了冀鲁豫区党委。
4月23日，黄克诚率领新组建的八路军第二纵队主力由太行来到冀鲁豫边区，与冀鲁豫支队统一整编，杨得志任第二纵队司令员。同时，成立了冀鲁豫军区。至此，包括直南、豫北、鲁西南地区的冀鲁豫边区抗日根据地初步形成。
6月，日军1万多人“扫荡”冀鲁豫边区。杨得志指挥部队打了整整13天，歼灭敌人大批有生力量。不久，黄克诚奉命率第二纵队和由原冀鲁豫支队改编的新二旅到华东加入新四军，冀鲁豫的部队只剩下3个团。由于日寇接连不断的大“扫荡”，各分区的部队都在独立作战，军区能掌握的地方武装很少，要战胜多于八路军几十倍的敌人，困难很大。这时，中央军委来电，征求杨得志等人的意见，是继续留在原地坚持斗争，还是去苏北地区发展根据地。杨得志知道，这是中央体谅他们的困难，但他更知道，开辟冀鲁豫边区这块根据地确实不容易，他不能离开这片洒着烈士鲜血、埋着烈士忠骨的土地。杨得志等向中央发电，决心同冀鲁豫人民一起坚持抗日斗争。
黄克诚离开以后，杨得志任新组建的第二纵队司令员兼冀鲁豫军区司令员。1941年3月，敌人在华北推行第一次治安强化运动。4月12日，日军1万余人、伪军1万余人对濮阳、内黄、滑县交界处的沙区进行“铁壁合围”。杨得志率领纵队机关和主力一部突出重围，跳到鲁西观城县。然后，奔袭敌人后方清丰县城及周围据点。这一行动，打破了敌人的部署，缩短了敌人原定的“扫荡”时间。这一次大“扫荡”之后，冀鲁豫边区敌情更为严重，周边地区驻有敌人重兵，根据地有日伪军7万多人，第二纵队的回旋余地越来越小，斗争形势更为严峻。7月中旬，为了统一冀鲁豫平原抗日斗争力量，中共北方局、八路军总部决定，冀鲁豫边区和鲁西区合并为新的冀鲁豫边区，杨得志任第二纵队司令员、区党委委员。两区刚一合并，杨得志和政委苏振华就主持召开了边区军队高级干部会议，研究严峻形势下的军事斗争问题。
