正是如此，1926年6月3日，蒋介石电邀冯玉祥来粤共筹大计。6月11日，人在苏联莫斯科的冯玉祥复电：“我救国军队非会师武汉，不能达救国之目的。”并电文派李鸣钟、刘骥全权赴粤会商。按照陶英惠教授的理解，蒋介石与冯玉祥互通函电，“可能自此始”。
其后，7月9日，广东国民政府誓师北伐。这年的9月16日，冯玉祥自苏联归抵五原，17日就任国民联军总司令。实际上，国民政府誓师北伐之时，国民军正在与直奉联军酣战。誓师之后的冯玉祥，收拾残局，重整旗鼓，正式加入国民革命行列，平定甘陕，出潼关而鏖战中原。
这一时期，蒋介石对冯玉祥可谓“赞誉有加”，其在1926年12月6日的电文中就写道：比闻督师出陕，节麾载道，风威所播，遐迩钦崇。吾兄救国之赤诚，奋斗之热忱，西北推为柱石，同僚视为导师。
1927年，中国的政治局势已经发生了重大变化，国民党分裂成武汉和南京两派—宁汉分流，再加上占据北方的张作霖，出现了3个政权对峙的局面。统辖豫陕甘三省，控制着陇海、京汉铁路交叉口的国民党员冯玉祥，一下子成为南京蒋介石和武汉汪精卫都极力争取的对象。
对于双方的拉拢，冯玉祥采取了两面手法，一边派刘骥为驻武汉代表，一边派熊斌为驻南京代表。当宁汉两方都委任他为第二集团军总司令时，他均不就职，仍以国民军联军总司令自居。
1927年6月20日，冯玉祥与蒋介石在江苏徐州开会，决定合作反共、反苏，并促成南京政府和武汉政府合作。
蒋介石最终用“雪中送炭”打动了冯的心。坐拥重兵的冯玉祥也有烦恼—西北穷苦，40万大军的军需供应始终是个难题。在宁汉之间，冯玉祥选择支持蒋介石，虽然婉拒后者要他“向武汉进兵”的提议，但在“清党”和联合北伐上都决定和蒋结盟。
宁汉合流后，蒋介石于1927年8月13日被迫下野，南京群龙无首，冯玉祥为张宗昌奉鲁联军进犯所苦。于是，他于1927年8月14日、9月25日、12月1日再三呼吁迎蒋复职，并约阎锡山一起于12月11日拥蒋出山，还派出部下张之江等东渡日本迎蒋回国，电文说“介公一身紧系党国安危，无论如何艰辛，无论如何谤毁，必须努力完成革命工作。”
