在关东大地震继续发酵的时候，23年9月，关余问题突出化了。
所谓“关余”问题：即关税余额的交收问题。中国海关的收入一向是在英人总税务司的直接控制之下，每月的海关收入必须先扣除用以支付对外赔款如庚子赔款及外债的部分，剩下的称为“关余”由税务司交付中国政府。
杨兴当即与人一起研究中国海关被英国人控制的历史。
1854年夏，英领事阿礼国提出一个中外合组海关的方案，两江总督怡良派苏淞太道吴健彰于6月29日和英、美、法三国驻沪领事会晤,规定:三国领事各提名一人，由中国任命为税务监督,与中国共同管理江海关的征税事宜。
1858年清政府与英、美、法签订的《通商章程善后条款》对这一办法作了修改：“任凭总理大臣邀请英（美）人帮办税务，毋庸英官指荐干预”，并“各口划一办理”。1859年江海关英籍税务监督李泰国(1832～1898)被委派为总税务司，负责募用外国人在各口岸任税务司，从此，外籍税务司管理中国海关便成为制度了。1861年起,广州副税务司英人赫德任总税务司（初为代理）,一直管理中国海关近半个世纪。
1901年《辛丑条约》签订后，通商口岸50里内的常关改归海关管理，总税务司署的征税权力又扩大了。海关事务主要为征税和船钞两大部门。征税分内班（处理商人报关、征税）、外班（查验过关商货）、海班（巡水缉私）。
1910年有19169人；1911年邮政脱离后，降至7230人；以后大体在八九千人之间。其中洋员约占1/6，国籍最多时达20余国,而以英人占绝对多数。海关要职都由洋员担任，华员仅任中下级职位；华洋关员生活待遇悬殊，形成洋员统治华员局面。
更让人感觉气氛的是，1917年孙文在广州建立护法政府时，曾于1919年分得一部分关余约占3.7％。这份关余按月交付护法政府，但到1920年3月因护法政府内部分裂而暂停交付。
杨兴决定发动收回海关管理权的群众性运动，当时在杨兴指示下，国民政府主要报纸纷纷报道英人无端窃据我海关关防，导致国外廉价物品潮水般向中国涌入，导致很多中国优秀的民族企业破产，因此建议政府收回海关管理权。
在学生游行抗议，商人纷纷拒买进口英国产品抗议之后，在杨兴鼓噪下，广州海关成立工会之后，1923年9月5号，杨兴召见百利安等人，宣布道：“海关原本是中国主权象征，广州海关应该属于国民政府内部事务，英国人代管中国海关，本来于法不合。再加上现在广州海关关长竟然自作主张，擅自截断自1920年以后广州海关关余。现在应中国人民要求，应广州海关中国工会要求，决定自即日起，免去查理斯等26名敌视中国人民的英方雇员，国民政府将任命相应的华人接管其业务，从即日起，国民政府将正式收回海关管理权。即于庚子赔款，广州海关将每年通过银行汇到各国政府指定的账户上。”
百利安一听，大惊失色道：“海关由英人管理，这是定例，国民政府作为地方政府，怎么能够说打破就打破，海关被国民政府正式接收后，如此怎能保证庚子赔款？”
杨兴笑道：“百利安先生，大家都知道，现在海关收入远远超过庚子赔款数额，国民政府将视各国对中国海关管理权收回运动的支持，作为付款的优先顺序。”
说完之后，杨兴当即离开，将百利安孤零零的抛在大元帅府。
第二天，国民政府控制的报纸发布杨兴的谈话，表示海关一直被英人控制乃非法行为，也没有相关法律条文支持，现在国民政府建立起来了，完全有能力管理自己的关防，也完全可以保障对各国的庚子赔款，因此应各界商人的要求，应广州海关工会要求，正式收回广州海关关权，自即日起洋人关长、各部部长被正式解聘。
在报纸公布后，杨兴举行中外记者招待会，发表相应谈话后，在记者自由提问时间中，一个名叫莫里斯的美国记者问道：“杨司令，请问你无视相关条约，收回海关管理权，难道不怕英国人报复吗？”
杨兴笑道：“莫里斯先生，这就是你的不对了。中国海关由英国人掌控，这只是习惯性做法，是腐败无能卖国的清王朝对外卖国，对内镇压的一种体现，在中华民国建立10余年时间里，理应废除这种于法于理完全不符的政策，将海关收归国有。况且，在大英帝国帮助下，经过50年发展，中国海关已经建立起完善的制度，已经培养大量优秀人才，因此，现在是英国人退出中国海关管理角色的时候了。”
一位英国女记者安娜站起来问道：“杨司令，正如你刚才所说，是英国人帮助中国建立起完善的海关制度，但现在就是你这样报答英国人的吗？中国人常说感恩图报，难道这就是你的感恩图报吗？”
人群中出现阵阵笑声，杨兴笑道：“这位记者朋友，非常感谢你记得感恩图报这句中国谚语，但是你知道吗，你们英国人如何管控我们海关的吗？这些洋务关员，只是照搬其他国家关务制度，强制要求我们华人执行，经过数十年摸索，是中国人根据国情，在广州海关，中国海关，已经建立起完善的关防制度。”
“感恩图报，让我们来看看这些洋务关长李泰国，勾结地方政府，从而导致中国关防逐渐落入英人之手。第二次鸦片战争时，李泰国向英侵华军提供漕粮北运的情报，对攻打京师，制定作战方案作用甚大。
赫德任总税务司长达50年之久，虽然清除了旧式衙门中普遍存在的腐败现象，但是其长期霸占该职位，干涉中国内政，坏事也干了一箩筐。
安格联，对不起，请允许我用粗俗的语言，安格联则纯粹是一个混账，绝对是一个混蛋。他任职税务司，是中国一个衙门，他是中国的一个雇员。但是大家都知道他做了些什么事情。他截夺中国关税收支保管权。
安格联不仅截夺了海关税款收支权，控制“关余”，还极力把海关势力侵入中国的财政、金融。民国3年，袁世凯成立内国公债局，安格联担任协理和经理专员，开始染指中国内债。民国7年，安格联接管了全部常关税款和推迟赔偿庚款那部分专款。将中国税收存在银行里面，任何人想动用其中一文，就要其批条子，仿佛中国海关是他私人财产似地。
对这些恶奴，当然要严加打击，国民政府从即日起，全部解除那些安格联控制中国海关的亲信。从即日起，安格联及其所控制海关的每一笔开支，安格联及其党羽没有任何支配权，在未来中国统一后，若是政府发现任何不明支出，中国政府将保留追究安格联的贪污行为的权力。任何政府任何个人若是支持安格联的盗窃行为，中国政府保留追究其连带责任。”
安娜当即大惊问道：杨先生，如果英国要开战，难道你们准备以武力对抗英国吗？
一些洋人记者听后，充满着嘲笑口吻。
杨兴见状，豁然站起道：安娜小姐，中国有五千年的历史，中国在过去数千年一直是世界上最强大的国家之一。如果说古代世界上有两个最伟大的帝国，一个是罗马帝国，另一个当然是我们中国，对这点，安娜小姐？
中国人看到杨兴如此说，整个会场一片骚乱，很多中国记者仿佛一下感到扬眉吐气，我们这位总司令声言，中国过去是世界上最伟大国家，难道是真的吗？
很多西方记者显得特别尴尬，安娜也满脸涨红，良久说道：总司令，不可否认这个事实，中国古代与古罗马都是世界上最伟大的国家。但是现在呢，现在我看到的中国人民的贫穷，中国人民任劳任怨，看到的是中国官员贪污成性？总司令，你会否认这个事实吗？
杨兴哈哈大笑，良久说道：谢谢你的评价，安娜小姐。我一直认为中国人民是世界上最伟大的人民之一，中国的落后主要是官员的腐化，是知识分子的腐化，是中国从一个制造大国变为一个消费大国，如此才造成中国现在的腐化。
但是安娜小姐，你也知道，在你们西方，常常是主权在民，我们中国有四万万伟大的同胞，有这一原动力，难道不能再次成为一个伟大的国家吗？
看到大家充满疑惑的眼睛，杨兴开始演讲了：诸位先生，应该都不会否认吧，虽然在满清统治下，中国已经沦落为半殖民地半封建国家。但是这主要是腐朽的封建制度，满清王朝罪恶统治造成的。但是中国人身体素质并不比欧洲人差，中国人并不比欧洲人笨，中国人比欧洲人更勤奋，更能吃苦耐劳。
若是大英帝国为了几个骗子，胆敢悍然侵犯中国人的生存与发展的权利，胆敢向伟大的中国人民开战的话，我们也会做好流血牺牲，中国人是不怕死的民族，中国人民是不怕困难的民族，历史上千难万险都没有阻碍中国人民前进步伐，今天，或者明天，外国人若想侵犯我们的生存与发展权利的话，我们只能以牺牲精神，以上百万、上千万、上亿人民的鲜血，来洗刷镂刻在我们身上的耻辱。
当即转身离去，在中国记者群情激扬中，在英国记者一片错愕中，在其他国家记者一片茫然中，离去。
这帮记者大惊失色，当听到上百万、上千万、上亿人民的鲜血后，这帮记者简直被惊呆了，要知道，在第一次世界大战的时候，英国人、法国人就被战争的血腥惊呆了。
现在一听，国民政府竟然不惜以上亿人为代价，以收回关余，以洗刷国人的耻辱后，在杨兴离开后几分钟，参加发布会的记者才从刚才震惊中反应过来。
在爆发一阵感叹后，接着，大家纷纷跑到邮电局，将杨兴的话直接发给所在报纸，就在第二天，所有欧美各国主要报纸赫然瞪着杨兴召开记者会的信息，都听到不惜上亿人的代价，以换取国家的主权完整。
在接到这个消息后，整个英国、法国议会闹成一团，很多议员纷纷咨询外交部人员，关余是一个什么东西，为什么让中国这个南方军阀如此暴怒？
当然，也有很多右翼政客狂叫着教训中国，要让中国再次体会道庚子之难。