1929年3月，蒋介石为了控制国民党中央，伙同陈果夫等操纵召开了国民党第三次全国代表大会?！叭蠡帷鼻跋ΓＶそ槭缘橙ǖ木钥刂?，陈果夫用圈定、指派大会代表的方法，对非嫡系人选加以排斥，把大批忠于蒋介石的人拉进了大会。此举遭到汪精卫等“改组派”分子的坚决反对。谷正纲没能当上“三全大会”代表，一气之下加入汪精卫阵营，成为积极的倒蒋分子。

1928年3月14日，“三全大会”召开的前一天，谷正纲在南京市国民党党员代表大会上大喊反蒋口号。会场里的“CC”分子和“黄埔系”等蒋系人马听后怒不可遏，一边冲上台去大打出手，一边溜出去叫人，随后陈果夫的手下冲入会场，“改组派”也不甘示弱，双方顿时混战起来。不久，一批“黄埔系”赶来助阵，这些人受过军事训练，“改组派”立刻败下阵来，谷正纲被打得鼻青脸肿、身受重伤，还被对方扭送至国民党中央党部大礼堂。国民党中央党部随后宣布撤销了谷正纲的职务，让他“听候查办”。

谷正纲挨了打后，气急败坏地向国民党中央常委会“控诉”，但没人理睬，而“CC”分子和“黄埔系”却对他恨之入骨，发动了许多人去中央党部请愿要求“严办凶手”谷正纲，甚至有人威胁想把他“劫走处死”。当谷正纲从国民党中央党部被放出时，一批人早已在门口等候，见他出来，立即上前拦截并暴打谷正纲。幸好“改组派”也有所察觉，提前组织了一批人在中央党部门口等候。见有人上前打谷正纲，于是冲上去保卫，两拨人又打了起来。谷正纲好不容易才被同伙救出，于是赶紧隐藏起来，并连夜跑去上海。

从此，谷正纲因两次挨打出了名，成了“改组派”的一员干将。1931年底，蒋、汪“重新和好”，谷正纲凭着两次挨打的“巨大影响”，终于弄到了一个国民党“中央执行委员”的头衔。由于“选举”场所设在当时的声色之地“大世界”，故谷正纲被时人戏称为“大世界中委”“野鸡中委”。