从1944年3月开始，鬼子开始在炮火掩护下架桥，南岸中国军队没有重炮，无力还击。桥顺利架构完毕。到4月上旬，参战鬼子在河南新乡和开封一带集结到位。这样的情况下，中国第一战区像中条山战役一般，对鬼子动作根本没有清醒正确判断，不知道鬼子要干什么。李家钰在会议上建议，既然要打，不如先发制人，打击鬼子邙山阵地（鬼子控制的位于南岸的坚固据点，多年来本马甲一直不明白，为什么一直让鬼子在南岸存在桥头堡？），主动出击，先打乱看鬼子部署，但未被战区采纳。
4月17日，鬼子27师团在洛阳河岸向对面中国军队开火，组织佯攻，战役正式打响。
洛阳这边打响了，一字长蛇阵布署的4个集团军注意力被成功吸引，而鬼子37师团却从汤恩伯防线的中牟，突然突破黄河防线，到4月18日早上，以为是100多鬼子但实际上第37师团全部渡过黄河，直接向郑州杀去。
这时候中国军队，已经挡不住了，装甲坦克为先导的鬼子，对匆忙中前来堵截的中国军队，毫不留情，大开杀戒，郑州守军于21日弃城，随着鬼子主力源源不断加入战斗，中国军队全线崩盘，5月9日鬼子与北上支援部队会师确山，战役目标顺利实现。而中国军队在大逃亡中，四处躲闪，36集团军总司令李家钰中将也在溃退中牺牲。
战役期间，许昌守军进行了坚决抵抗，成为这场战役闪光点。
5月底，为遏制鬼子继续向西攻击，一战区改组，陈诚到达一战区，担任司令长官并协调五、八战区全力反击，将战线稳定。由于汤恩伯集团野战主力并未遭受大的损失，在最后阶段，在伏牛山收拾好部队，出击洛阳，有力支持了陈诚的行动。
战役结束后，中国方面宣布：伤亡官佐817员、士兵18327人，日军伤亡4000人；鬼子统计，日军伤亡3350人，中国军队阵亡32290人，被俘7800人。但中国军队丢掉县城以上城镇38座，丢掉了豫南广大地区。
