纪晓岚的这段经历在史书上找不到什么痕迹，民间的版本却是生动有趣：纪晓岚既担心姻亲，又顾虑惹祸，于是用空白信封密封了盐和茶叶，命人连夜送往卢家。卢见曾最初不解，再三揣摩，悟出了其中的秘密：盐案查(茶)封，于是马上转移资产。民间还流传着纪晓岚应对乾隆皇帝讯问的精彩回答：“皇上严于执法，合乎天理之大公;臣惓惓私情，犹蹈人伦之陋习。”乾隆皇帝闻言，为之一笑。戏说虽然精彩，但是纪晓岚的人生确实因此发生重大转变。他被贬戍乌鲁木齐约两年半的时间，因其文采出众，在戍所主要做文案工作，行动也比较自由，并未因此受多少苦，反而因为西域的风土人情开阔了视野，增长了见闻。1770年，纪晓岚47岁时，受乾隆皇帝恩命赐还，于次年6月长途跋涉回到北京，再入翰林。

初入翰林，为新科进士;再入翰林，为赦罪犯人。当年挥斥方遒的青年，此时已深刻体会了世事无常和人生艰难，不复当年心态。“人生快意果有失，一蹶万里随戎旃”，这是对以前快意人生的后悔;“少年意气已萧索，伤禽宁望高飞翻”，这是对前途莫测的恐惧;“毋乃怪我趋营猛，讽我宴坐娱林泉。拈花微旨虽默契，拂衣未忍犹留连”，这是出世与入世的矛盾;“友朋知己尚必报，况乃圣主恩如天”，这是彷徨之后决意仕进的选择——这些诗句都出自纪晓岚刚从乌鲁木齐返京后写作的《幽篁独坐图》，非常真实地反映了他当时的心态。

虽然遭受挫折，纪晓岚还是义无反顾地再次投身仕途。返京的当年10月，纪晓岚迎銮密云，正值土尔扈特部归顺，龙颜大悦，纪晓岚作了文章进献，得乾隆皇帝嘉奖，复授翰林院编修。1773年，朝廷开四库全书馆，纪晓岚得大学士刘统勋的推荐，被乾隆皇帝任命为四库全书馆总纂修，这一年纪晓岚刚好50岁。对他而言，总纂《四库全书》是其一生中最重要的事，前后花费10年之功。因整理《四库全书》、纂修总目有功，纪晓岚此后平步青云：被提拔为内阁学士;授兵部侍郎、御史、礼部尚书;又调任兵部尚书、协办大学士，加太子少保。1805年2月，纪晓岚离开人世，当时他已升任为协办大学士18天。