这还仅仅是开始，随着广东民间械斗玩得越来越嗨，广东官府也越来越倚仗豪绅们的团练武装，因为只要搞定了几大家族的豪绅，乡下打得再热闹就照样可以报岁岁平安。在黄四郎第二代祖宗掌权的时代，广州城甚至需要豪绅们才提供兵力才能守得住。在第一次鸦片战争中怀清社学、和风社学、佛山大魁堂等团练武装就是保护广州的主力，得到了林则徐的夸奖；在十万红兵围困广州时，也是豪绅们自带干粮（征集民间的）帮助数千清军反败为胜。这一时期的豪绅们已经敢于半公开地和满清官员叫板，敢于在乡下祠堂殴打满清税务人员。

到了黄四郎的爷爷那辈，满清在广东的统治进一步瓦解，督抚们需要豪绅们出面才能编练防军。而到了黄四郎老爹掌权时，广东地方上风起云涌，革命党也纷纷在地方上掀起起义，也可能就是在那个时期，黄四郎才有了和革命达人接触的机会，才见识了武昌起义。

从19世纪初开始广东的绅士们就以公益的名义，一步步架空了地方政权，逐渐变成了一个个黄四郎，把县长变成了“跪着要饭的”可怜虫，所以五代家业也是历史的反应。类似的事情也在其他地方发生，黄四郎们的叫嚣并不是没有历史依据。