直到1930年4月，原二、三、四集团军组成反蒋联盟，推举阎锡山为中华民国陆海空军总司令，冯玉祥、李宗仁就任副总司令。
当时冯玉祥的许多部下都反对联阎，认为其阴险狡诈，反复无常，不可与之共事。之前，鹿钟麟曾对何应钦的代表说：“蒋介石是敌人，阎老西是仇人；敌，可化为友，仇则不共戴天。”
中原大战因为张学良通电入关，蒋介石大获全胜。失败了的冯玉祥移居泰山脚下，过了一段山居读书生活。
1933年5月，冯玉祥在张家口成立察哈尔民众抗日同盟军，兵力迅速扩大到10万，一度收复、接管察省全境。这引起了南京政府的惊恐。在日蒋联合进攻下，冯被迫通电全国，辞去总司令职务。几个月后，抗日同盟军战败。冯玉祥再回泰山读书。
1935年由于日军步步紧逼，蒋介石在抗日态度上有了变化。1935年9月，蒋介石公开表示：“中国对于日本的妥协让步，毕竟有一定的限度。”10月蒋介石再次发电报邀请冯玉祥出山。这年的11月1日，冯玉祥乘专车前往南京，为了表示敬意，蒋介石让出自己在中山陵四方城的官邸，让冯玉祥居住。
冯玉祥到南京初期，蒋介石与他几乎朝夕相处，事事向他请教，他每提出一个建议，蒋介石都诺诺答应，甚至用红铅笔记下。
正是如此，在这段时间内，冯玉祥致蒋介石的多封书信开头写道“昨晚聚谈，以鄙见所及，荷蒙嘉许”、“昨晚承招饮，相谈甚欢，所陈三事，颇蒙嘉许”、“昨谈各事，快甚！”等的话语。而冯玉祥确也将自己关于国家政治、经济、文化建设甚至包括法律的一些观点，写给蒋介石阅览。
1936年12月12日，张学良、杨虎城为逼蒋抗日，发动了震惊中外的西安事变。西安事变后，冯玉祥致电张学良、杨虎城，请求释放蒋介石，同时表示，自己愿意去西安做人质，以保证张杨的安全。
在12月13日这封致张学良的电文中，冯玉祥写道：“若犹难释然，祥当约同知交多人留居贵处以为释回介公之保证。”
1937年7月7日，卢沟桥事变爆发，国共两党开始了第二次合作。抗日战争爆发后，冯玉祥选择全力拥护蒋介石，到南京就任军事委员会副委员长。两人携手走向抗日战场。
从陶英惠教授搜集的电文看，淞沪会战期间，冯玉祥被蒋介石任命为第三战区司令长官；其后冯又出任第六战区司令长官，期间冯玉祥举荐的人才如冯治安、鹿钟麟等一概予以录用。
