他一共有4子3女。
纪汝佶,纪晓岚长子。生于乾隆甲子年,从公安、竟陵两派入,幼年时他极为聪颖,20岁中举人,可谓前途无量之人。但其后来随泰安知府朱子颖学习之时,迷恋上蒲松龄所著的《聊斋志异》而陷入其中不能自拔,纪晓岚流放新疆时,纪汝佶终因沉迷而不悟疯癫而死,年仅二十几岁。
纪汝传,纪晓岚次子。 监生,由《四库全书》馆议叙,历任湖北布政司经历,江西南昌、九江等府通判。
纪汝似,纪晓岚第三子。 附学生,由鸿胪寺序班加捐广东候补东莞县丞。《家谱》只载其为广东县丞,未记何县,民间传说其为东莞县丞。
纪汝亿,纪晓岚第四子。事迹无考。
大女嫁给卢见曾的大孙子卢荫文,二女嫁给袁照,三女夭折。