上任后，陈兆棠训练了一批得力的匪警，抓匪速度迅猛，很快就抓到了大量的匪徒，可陈兆棠抓到后却不管罪恶大小，一律杀掉，一年就杀死了三百多个人，此时百姓渐渐害怕陈兆棠。
光绪二十八年（1902年），广西寇盗纷起，陈兆棠招募了一千五百人组成“两广棠字全军”前往治理，征讨有功后又奉命稽查广东全省，此时陈兆棠的士兵已有一万之多，他从一个文官完全转变成了武官，他性格中的暴力倾向也因此被释放出来。
在广东剿匪时，陈兆棠的做法十分荒唐，他要求乡间的贵族豪绅帮忙抓匪徒，抓到后送到陈兆棠面前，就地正法，他荒唐之处在于不管罪恶大小全部处死，可乡间豪绅能抓到的匪徒能是什么匪徒？真正的江洋大盗早就逃之夭夭，遭殃的大多都是“鼠窃狗偷”之辈，还有很多是穷苦的无辜百姓。
仅仅三年，陈兆棠就残杀了三千多名“匪徒”，各地百姓全部在控诉陈兆棠滥杀无辜，可陈兆棠不仅没有认错，反而变本加厉，将反抗之人全部列入匪徒名单，担任惠州知府时，一个月就残杀了一千多名无辜的百姓，连恩师王闿运都对他进行训斥可他仍旧没有悔改，担任潮州知府时又“一日报诛三百人”，令人寒颤。
陈兆棠的残暴终于等来了恶果，武昌起义后，陈兆棠连忙逃跑，却被百姓抓获，将他绑在竹梯上，梯顶挂着一幅标语“处决民贼陈兆棠以谢天下”，最后中了19枪才死，死前留下十二字遗言“不死于君，不死于国，死于因果”。
