北宋末年学者王铚曾经在《默记》中记载了柴荣两个幼子的命运：赵匡胤陈桥兵变之后回到宫中，周恭帝柴宗训随即禅位，并移居到天清寺。赵匡胤有一次到天清寺看望柴宗训，后周后宫之人全都在一边跪拜，他发现有两个宫女分别抱着襁褓中的婴儿也跪在一侧，询问之后才知道他们俩是周世宗柴荣的儿子。于是：“艺祖顾诸将云：‘此复何待’？”意思是“留着他们干什么？”手下侍卫随即将这两个孩子“提去”。
潘氏养子
潘美雕塑
面对这种场面，所有人都眼睁睁看着这两个孩子远去，不敢做出任何反应。只有大将潘美在旁边用手掐着宫殿的柱子，低头不语。赵匡胤便问他：“汝以为不可耶？”潘美回答“臣岂敢以为不可，但于理未安”。于是赵匡胤命侍卫将那两个孩子送回来，并把其中之一交给潘美收养，终生再未过问这个孩子的下落。这个孩子后来改名为潘惟吉，曾经被宋真宗派往辽国给辽圣宗祝寿，但病逝在途中。
另一版本
宋太祖赵匡胤
北宋诗人王巩在他的《随手杂录》中则有另一个版本的记载，他说也是在赵匡胤刚刚入住皇宫之时，看见了宫女抱着周世宗的孩子，于是问左右官员应该怎么处置。赵普冷冷地说了两个字：“去之”，而潘美则低头不语，赵匡胤追问他，他始终没有回答，赵匡胤说：“即人之位，杀人之子，朕不忍为也。”此时潘美才发言：“臣与陛下都曾经侍奉周世宗，我要是劝陛下杀此幼子，便是有负于世宗；若劝陛下不杀，则陛下必然怀疑我不忠。”于是赵匡胤说：“周世宗的儿子认你为父不太合适，你就认他们为侄子吧！”于是潘美便将这两个婴儿带回家，“其后太祖亦不问，美亦不复言。”
北宋地图
国史君（国史通论）认为，自从南朝宋武帝刘裕开杀前朝皇室先河之后，数百年间，亡国之君几乎都没有好下场，赵匡胤以仁义取天下，能够善待后周宗室已经实属不易，对于两个襁褓中的婴儿，他放心地交给大臣抚养，并且终生不再过问，也真是宽洪大量了。
