孙连仲知李宗仁态度坚决，于是便说：“好吧，长官，我绝对服从命令，整个集团军打完为止。”当夜孙连仲亲自在台儿庄督战，组成数百人的敢死队，分组向敌逆袭，冲进敌阵。仇敌在前，孙部各自为战，手持大刀向日军砍杀，奋勇异常。日军血战已精疲力竭，不料战至最后5分钟，我军还能乘夜出击，日军仓皇应战，乱作一团，血战数日为日军所占领之台儿庄市街竟在一夜巷战中被我军一举夺回四分之三，日军死伤无数，退守台儿庄北门，与我军通宵激战。

在台儿庄中央防线北面的汤恩伯军团，曾在枣庄、峄县一带与日军作战，后转移到抱犊崮山区，原计划待日军矶谷师团主力进入台儿庄一线后，再潜行南下拊敌背后，合围歼敌。但在台儿庄危在旦夕之际，他拒不出兵。司令长官李宗仁曾以电话严厉警告汤恩伯：“我三令五申叫你出兵，你却按兵不动，若要再不出兵，韩复榘就是你的先例!”同时，汤部官兵也不满现状，纷纷请缨参战，在双重压力之下，汤恩伯最终出击。

当日半夜，李宗仁长官部接到汤恩伯军团的来电，知汤恩伯军团已向台儿庄以北迫近，天明可到。后半夜，李宗仁率随员若干人前往台儿庄前线，亲自指挥各参战部队对矶谷军团的歼灭战。黎明之后，台儿庄北面炮声渐密，汤恩伯已在日军背后出现，矶谷师团撤退不及，陷入我军重围。尔后我军内外夹击，在汤军团强大炮火支援下，台儿庄内我军以敢死队冲入日军阵地，与日军拼命厮杀。

4月6日，12时20分这一刻，中国军队对日军发起总攻，日军第十、第五师团这二支号称“铁军”的部队在中国军队的包围攻击下仓皇退逃，濑谷支队已全面崩溃。台儿庄一线我军全线出击杀声震天，池峰城率部乘胜自台儿庄西北角进攻园上，随后占领。后又占领西北门、东门，庄内日军全部肃清。晚10时，将刘家湖、三里庄日军歼灭。4月7日早晨4时左右，台儿庄城内的日军基本被消灭干净。矶谷师团长率残部万余人突围进入峄县县城，开始闭门死守，战斗信心尽失，对我军已无丝毫威胁，来不及逃窜的数百名日军伤残官兵，在他们的飞机炸成的大坑内，号叫着剖腹自杀，并引火自焚。在李宗仁亲自指挥下，我军乘胜追击，扩大战果，台儿庄之战至此我军大获全胜。