晚年的纪晓岚，虽官高名显，但在乾隆皇帝眼中始终是文学侍臣，形同俳优。1785年，员外郎海升殴死发妻，身为左都御史的纪晓岚参与审案，被乾隆皇帝斥为“无用腐儒”;1786年，御史曹锡宝弹劾和珅家奴刘全仗势招摇，此事与纪晓岚无关，而乾隆皇帝在上谕中明确怀疑纪晓岚，揣度他对和珅心怀不满而暗中唆使，此事后来虽未牵扯到纪晓岚，但纪晓岚内心之恐慌可想而知，因此言行也愈发隐忍顺从，闲居之时也只是独坐焚香著述而已。至于乾隆皇帝驾崩之后，嘉庆皇帝即位，更是将纪晓岚当做元老对待，有客气而无实质上的任用，否则也不会到他行将就木才予其大学士之衔。

但是不管怎样，纪晓岚做官做到死，在学术盛兴的乾嘉时期，这种选择也是耐人寻味的。同时期的大诗人、思想家袁枚，年长纪晓岚8岁，少年成名，高中进士并选为翰林院的庶吉士，但却没有留下来，而是外放知县，仕途辗转十几年后归隐随园，寄情山水;同年进士钱大昕，和纪晓岚齐名，人称“南钱北纪”，亦在盛年辞官，致力于学术;同一时期在史学上有很高成就的章学诚，考中进士、外放官员之后选择不去……对比这些学者，作为学者的纪晓岚是世俗的，作为官员的纪晓岚则是孤寂的、无奈的。纪晓岚集官员、学者、作家等多种身份于一身。若从价值角度论，他首先是一位学者，留下了《四库全书》，在学术史上具有不可替代的重要作用。“浮沉宦海如鸥鸟，生死书丛似蠹鱼”，这是纪晓岚自作的挽联，也是对他一生经历的真实写照。