梁干丞曾先后在浙江、洪湖根据地从事党的工作，以后又转到河北、山西、陕北和宁夏等地，开展地下斗争，组织敌军兵变。其间，曾任陕北特委和宁夏特支负责人。1931年和1932年在山西和宁夏工作时，曾两度被捕入狱。

1933年，在银川出狱后，他受组织派遣，从宁夏来到兰州，参加中共甘宁青特委的领导工作，接任特委军委书记，并负责特委工作。为便于活动，特委通过进步人士杜汉三(时为邓宝珊新一军团长、兰州城防司令)，为梁干丞在邓宝珊新一军教导队谋一政治教官职务。梁干丞利用教导队讲台，将马克思主义和历史上各种思想流派，结合一起，进行宣讲，使不少军官走上了共产主义道路。他常躲过国民党的监视，召开军委会议，并与党的地下工作人员保持接触。他利用国民党中央部队与地方部队的矛盾，分化瓦解敌军，造成互相猜疑，加剧他们内部的斗争。1933年7月，蒋介石的嫡系、反共老手朱绍良任甘肃省主席后，梁干丞立即组织人员在大街上张贴“杀人如麻的刽子手朱绍良”的标语，散发揭露朱绍良在江西屠杀工农群众的传单。这些标语和传单，一直张贴到省政府的中山堂和朱绍良的家门口，造成敌人内部极大的恐慌。

梁干丞生活十分清贫。微薄的收入，几乎全部用于党的事业。自己经常吃了上顿没下顿，有时，一天仅吃一顿饭。他在木塔巷山东会馆和特委工作人员王建三同住时，二人合盖一条被子，衣服互相交换着穿。有时，两人仅能凑出一两角钱，买些洋芋煮熟，维特几天生活。但他仍保持着革命的乐观主义精神，他对特委的同志说:“如果我牺牲了，请你们把的我头割下来放在脸盆里，投入黄河，顺流而下，我便可以回山东了!”这句话深刻表达了他对故乡的深厚感情。