蒋介石又令杨森率部退守桂林。当部队从安仁县到郴州(今郴县)时，郴州已被日寇占领，只得从郴州敌人薄弱的地方冲过去。，但仍然无法直赴桂林，才南下走永兴到广西永福县。，然后转桂林外围修仁县驻防。杨森率部离开湖南时，薛岳将新20师截留，并派保安队四处围堵，最后杨森只带走了20军的五个团，所以在修仁布防时，杨森加紧补充整顿部队。在修仁前面守黄沙河的是陈牧农的97军。九月，日寇向桂林发起进攻，包围了修仁。20军守修仁一线的为陈德邵的399团，彭泽生的397团。第四战区长官张发奎令陈牧农撤出黄沙河，因为黄沙河背面是一片平原，撤退后无险可守。蒋介石急电张发奎，问为什么放弃黄沙河?张发奎在召见陈牧农时将陈扣留，枪毙。杀人灭口，推卸罪责。并保亲信甘丽初为97军军长，这就引起了97军官兵的愤懑，造成部队混乱，接连后撤。日寇的进攻企图将20军通往桂林的后路截断，杨森即令20军连夜梯次退却。接着桂林失守，20军撤向柳州。张发奎率长官部只顾后退，日军长驱直入。国民党空军前来掩护撤退，张发奎总部未设联络信号，致被误认为是日军，竟遭到轰炸。蒋介石令杨森率30军一个师、炮团和20军所部撤向贵州。杨森率部退至广西龙江，日寇从广西永福县东北向西南斜进，杨森即派陈德邵团在龙江前面一带监视敌人。当该团赶到指定地点时，阵地已经被敌人占领。陈德邵立即派两个侦察员将敌情报告连夜送133师师部师参谋长苏直方因撤退疲劳，接到报告未及时处理。陈德邵率全团在三柯圩(离杨森总部三十里)与敌人苦战一天一夜。由于杨森未见到陈的报告，天亮时才发现日寇已到龙江以北，敌人兵站已距总部只有一里路。杨森急令特务营掩护总部撤退，由于撤得仓皇，连被盖卷都丢光了。蒋介石令杨森节节阻滞敌人，以待增援，并调胡宗南一个师归杨森指挥。杨即令该师守历门关，不了这装备精良蒋介石嫡系部师和敌人才接战两个小时就被打垮，杨森气愤地令总部特务营上去，才将日寇打退。