土地革命时期，全国只有陕北革命根据地的创建是从下到上，先建立各级党团及群众组织，在此基础上创建红军游击队，建立根据地，最后成立正规红军。先建立村、乡、区、县各级苏维埃政权，最后成立陕北省苏维埃政府。马文瑞在里面做出了重要的贡献。

1927年7月，陕北军阀井岳秀追随蒋介石开始“清共”，马文瑞被迫从绥德四师回到周家崄高小，在他和共产党员刘景向的秘密活动下，周家崄高小的党、团组织非但没有解散、瘫痪，而且发展了一批党、团员，力量反而加强了。1928年“中秋节事件”，陕北特委机关被敌人发现并占领，马文瑞只身闯龙潭虎穴，安全转移特委文件，避免了遭受更大的损失。

1928年8月，他担任共青团绥德县西区区委书记，把那些政治觉悟太低、丧失对敌斗争信心的团员清理出去，培养、吸收了一批优秀青年农民加入组织。在没有上级组织领导的情况下，把绥德西区的团组织巩固和发展起来，引起中共绥德县委书记白明善的重视。同年转党，任绥德县委常委兼共青团县委书记，绥德农村的党、团组织得到健全和较大发展，团员达三四百人，在校学生里还有一批少先队员和儿童团。他还到绥德西川一带的石匠、穷苦盐工和炭工中访贫问苦，秘密发展党、团员，成立了党、团组织和千余煤炭工和盐工参加的手工业联合会，陕北开始有了工人出身的党、团员。

1930年秋，任中共安定县北区“行动委员会主任”的马文瑞，消极抵制立三“左倾”盲动错误，扎扎实实地在农村开展积蓄革命力量的基础工作。在立三“左倾”错误给各地党、团组织和骨干分子带来严重损失和站不住脚的情况下，安定北区的党、团组织和各外围组织却完好无损。

1931年初，纠正立三左倾错误，马文瑞任陕北特委委员兼安定县委书记。同年秋，马文瑞任团特委书记，暂留安定继续担任县委书记。他清除了一些政治上不坚定，甚至动摇变节分子。同时秘密发展组织，争取群众。到年底，全县除南区蟠龙一带因靠近瓦窑堡敌占中心没有党、团组织外，其余4个区委和12个党支部，都有新的发展和提高，党、团员达120多名。

1932年初，他回到特委，被任命为特委的南路特派员，负责清涧、延川、安定、延长、延安等地党的工作，巡视了清涧、安定、横山、榆林、葭县、吴堡等地。由于立三主义错误的危害，陕北各县党组织都受到不同程度的破坏，延长、延安两县党组织遭敌人破坏后，同特委完全失去了联系。他艰苦奔波，先后与延长、延川、绥德等县的党、团组织联络上，恢复了关系。到特委工作以后，他除了继续做部分巡视工作外，更多的是协助特委代书记马明方主持陕北特委的日常工作。经过他和众多革命中坚分子艰苦卓绝的工作，党的组织经过一段停滞状态，又逐渐开始恢复与发展，23个县中，21个有了党、团组织，延安北部各县党的组织稳步发展，有支部81个，党员765人，贫雇农党员占到党员总数的80%以上，革命活动迅速在农村深入发展。