1785年，卡萨诺瓦身无分文，再次从威尼斯流放出去（这次是因为他对城市贵族进行了辛辣讽刺）。在杜克斯城堡（如今在捷克共和国境内）担任一位波西米亚公爵的图书管理员。他和自己的猎狐犬一起闭门不出，那时候的他非常孤独、偏狭，奢侈生活就这样惨淡收尾。曾经，他混迹于不同卧室、18世纪的著名沙龙以及各种文化和知识团体之间。但卡萨诺瓦并没有就此止步，如今他声名远扬，就是因为他在杜克斯城堡完成了长达12卷的自传《我的一生》（Histoire de ma vie）。
1789年，在医生的建议下，他开始写自传，这也是普鲁斯特疗法的原型——一种抑郁症疗法。几年后，卡萨瓦诺在给一位朋友的信中写道，自己每天会写13个小时，时常会因此大笑：“回忆曾经的欢愉真令人开心呀！我之所以高兴是因为我并未横加杜撰成分。”
不过，这本自传无缘无故戛然而止，停在卡萨诺瓦49岁拜访里雅斯特（Trieste）之时。尽管他曾经挑选了一些片段跟朋友分享，且1789年逝世前也没将手稿烧掉，但并没有证据表明卡萨诺瓦有出版这本书的想法。的确，不仅内容直言不讳，这部作品的长度、文章中繁琐的日常细节都使得这本书无法出版。经过编辑修改，这本书最终于1821年出版。审查人员也按照标准进行了审核，但是梵蒂冈还是将其列入了禁书行列。而其恶名也并未衰减。19世纪末，法国国家图书馆一个名为“L'Enfer ”（地狱）的特殊书架上，收录了这本自传的多个不同版本。
性革命
当然，这一切都使得卡萨诺瓦的传奇更加鲜活。如今，就像贾斯汀·比伯（ Justin Bieber）有一群名为Beliebers的粉丝一样，卡萨诺瓦的粉丝叫“Casanovist”，该群体主要由热衷于卡萨诺瓦的业余学者组成，通常从事广告或保险销售工作，这可能会令卡萨若瓦自己也感到困惑。凯瑟琳·冈萨雷斯（Kathleen Gonzalez）是加州的一名作家兼高中英语老师，在写一本关于威尼斯船夫的书时首次受到了卡萨诺瓦的影响。沿着大运河漫步，很多建筑都被人们指为卡萨诺瓦的房子。有没有一种可能，这些建筑曾经都属于卡萨诺瓦？威尼斯恰好是凯瑟琳最喜欢的城市，因此在兴趣的驱使下，她开始着手写一本关于卡萨诺瓦笔下威尼斯的旅行指南。她说：“卡萨诺瓦对事实一向不甚在意，相较之下，Casanovist这个群体则坚持细节。”
然而就像卡萨诺瓦生平故事的其他方面一样，历史学家逐渐消除了不确定性，他们仔细阅读了卡萨诺瓦的回忆录，发现书中的大部分内容都站得住脚。正如传记作家伊恩·凯利（Ian Kelly）所说：“这是对卡萨诺瓦进行大规模重新评估的一部分，而早前我们的认知偏差其实是因为出版时的错误。”因为《我的一生》这部作品中最先以色情书籍出版，起初从法语误译为德语，之后从法语翻译为德语，再从德语翻译为英语。“但这其实只是卡萨诺瓦回忆录的一部分。”凯利说道。因为相较于情爱描写，书中关于食物的细节描写其实更多。卡萨诺瓦可能也会为自己如今的声名远扬或臭名昭著感到讶异。
