张作霖和吴佩孚（右）

　　1904年，日俄两国为争夺我国东北地区控制权而爆发了战争。

　　为打破俄国独占东北的局面，保住“龙兴之地”，清政府中的一些人表面说保持“中立”，暗地里却搞起“联日拒俄”。日俄战争前夕，日本驻华军事顾问从北洋督练公所中选拔出包括吴佩孚在内的多名青年军官，与日本情报人员秘密组成“中日混合侦探谍报队”，分别到旅顺、大连等地刺探俄军情报。吴佩孚建议日军用多只普通渔船日夜不停地对俄舰队进行骚扰、试探，趁其麻痹之际，再把情报船混在渔船中送到日本海军指挥舰，此建议受到日军的采纳，为后来日军歼灭俄军陆上要塞做出了贡献。10月，吴佩孚被俄军逮捕，但在被押往哈尔滨的途中成功逃脱。吴佩孚出色的情报工作才能，深受日本人的赏识，吴佩孚后来的顾问冈野增次郎和两度到洛阳相访的白鸟健夫，就是他在这次间谍活动中认识的。日俄战争后，吴佩孚因屡次立功，被日本赠“单光旭日勋章”一枚。

　　日俄战争结束后，吴佩孚进入第三镇步队十一标第一营任督队官。第二年，曹锟成了第三镇的统制。一次吴佩孚随曹锟驻防吉林时，曹锟要用东北地图，结果整个第三镇只有吴佩孚有一张在日俄战争时期自己绘制的东北地图，由此曹锟对吴佩孚开始关注，派吴佩孚到与俄国交界的吉林兴凯湖测量、绘图。

　　随着日俄战争结束，东北各地“胡子”（即土匪）蜂起。吴佩孚因谍报活动对当地地理颇为熟悉，加之胆大敢干，在剿“胡子”行动中屡次立功。1907年除夕，别人都在饮酒赌钱，吴佩孚却利用这个机会率队出去抓“胡子”。天明归来，抓到“胡子”20余人，并缴获大量赃物。经此一战，全营上下都说他有一套“鬼八卦”，于是送给他“吴小鬼”的外号。

　　吴佩孚又向曹锟立下军令状说：他只带一营士兵，配备20匹战马，在三个月内消灭当地的“胡子”。曹锟赞赏吴佩孚的胆量，就任命他为剿匪特务队的队长，拨给他一营士兵、20匹战马。

　　针对“胡子”采取的“你来我走，你走我抢”战术，吴佩孚心中早就盘算好一套对付战术。战术说起来也不复杂——吴佩孚针对“胡子”的行动特点，采取“跟踪惊扰”、“守株待兔”的办法，先带着特务队跟踪“胡子”，如果小股“胡子”作乱，就地予以歼灭；如果是大股出动，则不与之硬拼，只是让“胡子”知道他的部队就在附近，如此一来，“胡子”只得撤退，他们则不紧不慢地跟随其后。两个多月后，大队“胡子”被特务队跟得筋疲力尽，还无法作案，食不果腹，只好化整为零，各自回到落脚地，想等官兵撤了之后再重新聚集。等“胡子”一散，吴佩孚立即命令特务队将他们分批缉捕?？吹轿馀彐诘慕?ldquo;胡子”成果显著，曹锟非常满意，很快提拔他为标统。此后，曹锟更是对吴佩孚言听计从。

　　直皖战争后，吴佩孚成为直系的首领之一。然而“胡子”出身的奉系张作霖却看不起吴佩孚。吴佩孚曾随曹锟去天津与张作霖会晤。见吴佩孚在一旁不断插嘴，张作霖当面斥责他说：“你以一师长，在某与三哥（指曹锟）面前自由发言，擅做主张，成何体统？此间某之部下师长非止一人，若竟效之，岂不乱了套吗？”对“胡子”历来反感的吴佩孚闻言色变，遂拂袖而出，恨恨地说：“早晚要让你张胡子认识认识俺这个师长的厉害！”据此有人说，后来吴佩孚不惜两次发动直奉战争，与此不无关系。