1939年3月，八路军冀鲁豫支队司令员杨得志、政治部主任崔田民，率3000余名指战员挺进鲁西南，开辟新的抗日根据地。

冀鲁豫支队在鲁西南特别是定陶县“一天天坐大”，让国民党顽固派定陶县县长兼保安团长姚崇礼惶恐不安。姚崇礼向八路军多次挑衅，并于1939年6月下旬公然杀害八路军的多名干部。

面对姚崇礼的一再挑衅，杨得志忍无可忍。1939年6月29日一早，杨得志率部从曹县东南挥师北上，当天下午就将定陶城包围了起来。当日黄昏，八路军向城内顽军喊话，展开政治攻势。30日上午，在劝降无果的情况下，杨得志命令攻城。

经过激烈的战斗，冀鲁豫支队从城西门攻入城内，迅速向纵深发展。姚崇礼发现形势危急，急忙命令骑兵队队长张明堂率两个骑兵队扑向西门，企图将八路军压出城外。张明堂当即率领300多名骑兵一起朝西门杀来。已经攻入城中的八路军见状，一面派人请求后续部队增援，一面抢占有利地形，准备迎敌。

张明堂的骑兵冲上来后，被八路军一阵排枪击退；再次冲锋时，八路军后续部队携带机枪赶来增援，骑兵又被击退。此时，姚崇礼化装逃跑，张明堂只得带着剩余的骑兵从东门突围逃走。当日傍茒，八路军占领了整个定陶城。

商丘日军发现冀鲁豫支队的主力正在定陶后，就出动千余兵力，向定陶发起突然袭击。冀鲁豫支队获悉这一情报后，一面组织部队掩护老百姓撤退，一面在曹县北的程河、普连集一线和定陶城南丰庄悄悄布置了两批警戒部队。日军刚过曹县县城，就受到了八路军的阻击。日军在经过牛王寺附近时，一场激烈的伏击战打响了。

就在激战正酣时，八路军发现昨天被打败的张明堂带着几十个骑兵冲了过来，于是连忙抽出一部分兵力，准备对付张明堂的骑兵队。

谁知八路军刚完成部署，日军的背后却突然一阵大乱。八路军指战员几乎都不敢相信自己的眼睛，原来张明堂他们正向朝日军连连射击。日军难以招架前后夹击，只好夺路往定陶县城方向拼命奔逃。

张明堂原本颇具爱国情怀，只是受到了姚崇礼“攘外必先安内”“江湖义气”的欺骗为他卖命。在定陶战斗中，他亲眼目睹了八路军纪律严明、作战英勇，让他格外钦佩；而姚崇礼的临阵脱逃让他对顽固派顿生厌恶。在目睹日军屠杀定陶居民、而八路军为了掩护家乡百姓撤退而奋勇抗击日军时，张明堂立即带领部队向日军背后发起突袭，协助八路军作战并取得了胜利。

牛王寺伏击战的胜利，是日军侵入鲁西南后遭受的第一次重创，极大地鼓舞了鲁西南军民的抗敌斗志，冀鲁豫支队的主力很快发展到7000人。在战斗中，八路军有32名指战员英勇牺牲，忠骨就被安葬在牛王寺后。

张明堂骑兵队经过牛王寺战斗的洗礼，彻底同姚崇礼分道扬镳。不久，张明堂以自己的骑兵队为基础，拉起了抗日队伍，后来不幸被土顽武装杀害。