4月2日6时，第二集团军接台儿庄寨内指挥官报告，第二十七师奋勇队于夜1时出敌不意，已将庄东部占领，第三十师第一七五团已攻占台儿庄西北角，夺回全部阵地。第三十一师官兵也发起对庄西北角敌人围歼战。师长池峰城集中优势兵力，以轻重迫击炮向敌狂轰猛射。中国守军在炮火掩护下迅速冲进敌阵，与日军展开逐屋逐墙的争夺战，到黎明时分终于将庄西北角日军全部肃清，夺回阵地。

1938年4月3日，全庄三分之二为日军占据，日军电台宣称已将台儿庄全部占领。但我军仍据守南关一隅，死拼不退。

4月4日，日军用燃烧弹攻击台儿庄，试图将台儿庄夷为平地，孙连仲第二集团军此时处境已极其危险，连预备队都已经用完。孙连仲对请求准予撤退的师长池峰城说：“士兵打完了你就自己上前填进去，你填过了，我就来填进去，有谁敢退过运河，杀无赦!”池峰城知道军令不可违，又返身冲入敌阵，乃命令城内各守备队利用地形和断墙残壁，筑起第三道防卫工事，勉强与日军周旋，我军士兵逐屋抵抗，任凭日军如何拼死冲锋，也坚守不退，战至黄昏，日军停止进攻。4日深夜，守卫台儿庄的孙连仲部2万余人已伤亡14000人，全庄四分之三的地盘为日军占据，但孙部仍背靠运河在城南一隅，顽强死守。

此时孙连仲意识到再孤军死守将全军覆亡，于是他给李宗仁打去了电话，他说：“第二集团军已伤亡十分之七，敌人火力太强攻势太猛，但是我们把敌人也消耗得差不多了，可否请长官答应暂时撤退到运河南岸，好让第二集团军留点种子，也是长官的大恩大德。”孙连仲语调凄凉、悲壮，李宗仁深知其处境艰难，但他说：“敌我在台儿庄已血战一周，胜负之数决定于最后5分钟，援军明日中午可到，我本人也将于明晨来台儿庄督战，你务必守到明天拂晓，并要组织夜袭，坚持就是胜利，待明天援军到后，我们就可以对敌人内外夹攻!这是我的命令，如违背命令，当军法从事!”