1920年的直皖战争，直、奉联合打败皖系，把持了北京政权。直系大将吴佩孚成为直鲁豫巡阅副使，驻军洛阳，与地方势力河南督军赵倜矛盾加剧。冯玉祥的第十六混成旅由于在击败皖系陕西督军陈树藩中作战有功，扩编为第十一师，冯升任师长，不久继任陕西督军。1922年4月，第一次直奉战争爆发。赵倜见到张作霖打来大获全胜的电报，又听说“吴佩孚业已阵亡”，于是命令其弟赵杰和部下宝德全袭击直系留在河南郑州的部队。谁知吴佩孚早已任命冯玉祥为后防总司令，并代理其直鲁豫巡阅副使之职。冯玉祥发现郑州空虚，立即派兵协防郑州，自己即率卫队团日行160里赶到洛阳。到5月9日，冯玉祥发起反攻，大破赵部，并追击赵部残兵至开封。

战争结束后，冯玉祥被任为河南督军。冯玉祥治豫第一要务即为恢复秩序，安抚人民，首先委任鹿钟麟为警察厅长。开封城内外治安尤其紧要，冯玉祥亲率卫队出巡，捕获乱兵数名，就地正法，地方始得安靖。后派李鸣钟等为各属镇守使，以剿匪安民。

冯玉祥还颁布《督豫施政大纲》十条，从严查办贪官劣绅，?？钣美葱税旃媸乱?。他抄没赵倜全部财产，尽行充公，大办教育。他派余心清创办“中州大学”（后改名为河南中山大学）及第一女子中学。冯玉祥还设立平民工厂三处，以为贫民学习工艺的场所。开封满城内原由旗人居住，现在则给资遣散，使他们与汉人杂处以消弭种族界限。其余禁娼、禁烟、改良市政、兴修马路、疏浚河道等善政，都是凡冯玉祥所到之处肯定一律要做的，概不详述。

此外，冯玉祥对交通事业也花大力气改善，原计划全省建设长途电话及长途汽车公路。只可惜冯玉祥督豫仅4个多月，即行去职，其成绩则电话仅得潼关、妇德、许昌三线，汽车公路则仅修周口、潼关两路而已。其建设计划及种种政策，没有全部实现。

在财政方面，冯玉祥以薛笃弼为河南省财政厅长，维持纸币及铜元票兑现，并停办苛税杂捐、清理积弊。当时河南驻军甚多，军费浩繁，冯玉祥以节俭廉洁厉行上下，对其他各军均按时发饷，唯冯玉祥之第十一师则饷不多发，也从未向大城市派款。

冯玉祥就任河南督军后，马上进行整训和扩充军队，改编了两个补充团和一个学兵团，不久又将这三个团扩大为三个混成旅。此时，冯玉祥有了一个师又三个混成旅的实力，冯军成为了一支举足轻重的部队。期间他举办了“高级战术研究会”，由段其澍主持，凡第十一师营副以上军官均须轮班听讲。其次将“卫队团”改为“学兵团”，以石敬亭为团长，分三营，挑选严格，相当于初级干部之养成所，并将“手枪队”中又添设“自行车队”“汽车队”，购置卡车十二辆，均受军事训练，为作战运输之用。

自冯玉祥任河南督军后，励精图治，省政一新。时隔不久，“模范军队”“平民督军”等盛誉已蜚声全国，声望凌驾于吴佩孚之上。加上冯玉祥屯兵开封，与洛阳的吴佩孚在一条铁路线上，遂成为吴佩孚的心头大病。冯就职伊始，吴即索款80万元，以后每月令缴20万元，冯玉祥回复说“没有这个本事”，还枪毙了已经投降吴佩孚的赵倜部下宝德全。冯吴的关系日益恶化，吴佩孚即操纵北洋政府，调冯玉祥到北京任陆军检阅使，把冯玉祥逐出了河南。