乾隆发脾气的时候，大学士汪由敦就在后面跟着。汪由敦是张廷玉的门生，情知不好，暗中给张廷玉通风报信。张廷玉知道后，吓得魂飞魄散，赶紧爬起来，爬去上朝谢恩。这下乾隆更不高兴了，你怎么就知道朕发脾气了呢？他认为张廷玉在朝中有朋党。经过查实，汪由敦被革职。
这时候，又遇到了事。乾隆皇长子永璜病逝。张廷玉本来已经获准告老还乡的，但自己是永璜的老师，只得留下来。不过初丧过后，张廷玉又提出要走。本来这也是合情合理的，但乾隆却大发雷霆，好你个张廷玉，不光对我没感情，对你的学生也没感情。这样的人，如何“配享太庙”？于是他宣布，剥夺张廷玉“配享太庙”的资格。
张廷玉竹篮打水一场空，灰溜溜地回去了。张廷玉的厄运还没有终结。他回乡后不久，由于亲家朱荃贪污受贿，乾隆认为张廷玉必有牵连，命他“尽缴颁赐诸物”，并罚白银一万五千两，还借着这个机会，让人抄了他的家。张廷玉就在这种凄惶中去世了。
张廷玉去世后，乾隆赦免了他的全部罪过，又恢复了他“配享太庙”的资格。此举，赢得朝廷上下赞誉一片。不过，张廷玉已经看不见了。
