晚年时他常念家乡金牛镇，故居部分保存
孙立人故居坐落在金牛镇旁，金牛山半山腰处，坐北朝南，是一座晚清风格的小四合院。孙家祖居于此，孙氏旧宅原有103间房屋，后来大部分房屋在解放后用于办学，只保留了现在这个有16间房屋的小四合院。约250平方米，是孙立人24岁结婚时的住处，木架结构，青砖小瓦，走廊及房内雕梁画栋，为明显的晚清民居建筑风格。根据界碑上的文字，这座小院面积不大，却颇有清新静逸之氛围。房屋分布在小院四周，有回廊连接。
据故居人员介绍，1924年，孙立人与龚夕涛在孙立人故居完婚。1932年孙立人父亲孙熙泽病逝于金牛山老屋，时任财政部税警四团团长的孙立人回乡并主持丧事。第二年孙回金牛山将父母棺葬入土。院内有诸多树木，有一株110岁树龄的木瓜海棠，这是当年抗日名将孙立人亲手栽种的。
孙立人的次子孙天平回忆说：“父亲离开家乡那么久，庐江口音一直没变。”他很怀念家乡，少时离开家乡求学，后又领兵作战，很少回到家乡，但他的思乡之情从未中断过。特别是到了台湾，思乡之情与日俱增。1989年清明，孙立人专托老部下潘德辉回庐江代为扫墓。潘扫墓归来，转告经过时，89岁高龄的孙立人仍十分激动。“他还记挂着家里的祖墓，说要把墓碑修好，不能认错祖宗。”父亲很怀念家乡，常常讲想回来看看，但直到过世也没能返乡祭祖。”
