却悬着雅致的室名“学圃堂”、“梦墨亭”、“蛱蝶斋”等匾额。唐寅一生酷爱桃花，别墅取名“桃花庵”，自号“桃花庵主”并作《桃花庵歌》：“桃花仙人种桃树，又折花枝当酒钱。酒醒只在花前坐，酒醉还须花下眠。花前花后日复日，酒醉酒醒年复年……”春日，园内花开如锦，他邀请沈周、祝允明、文徵明等来此饮酒赋诗，挥毫作画，尽欢而散。。“日般饮其中，客来便共饮，去不问，醉便颓寝。”（祝允明《唐子畏墓志铭》）此时唐寅过得清闲而超脱。
明正德九年（1514），他被明宗室宁王以重金征聘到南昌，后发现身陷宁王政治阴谋之中，遂佯装疯癫，脱身回归故里，后来宁王起兵反叛朝廷被平定，唐寅幸而逃脱了杀身之祸，但也引起不少麻烦，从此思想渐趋消沉，转而信佛，自号“六如居士”，“六如”取自《金刚经》：“一切有为法，如梦幻泡影，如露亦如电，应作如是观。”自治一方印章“逃禅仙吏”。
从南昌回家后因常年多病，不能经常作画，加上又不会持家，生活艰难，甚至常靠向好友祝枝山、文征明俩人借钱过日。其间有著名书法家王宠常来接济，并娶了唐寅唯一的女儿为儿媳，成了唐寅晚年最快乐的一件事。
明嘉靖二年（1523），54岁他健康状况更差，这年秋天，应好友邀请去东山王家．但见苏东坡真迹一词中有二句：“百年强半，来日苦无多”，正好触动唐寅心境，他一阵悲伤，告别回家后，从此卧病不起，不久结束了他凄凉的一生。死后葬在桃花坞北。嘉靖26年迁葬到横塘镇王家村。他逝世后由其亲友王宠、祝允明、文徵明等凑钱安排后事，祝允明写了千余字的墓志铭，由王宠手书，刻在石碑上。后世有关唐寅的生平事迹大多是从这墓志铭中得到的。
唐寅仕途坎坷，晚境凄凉，以致身后诗文几近散轶。明万历年间，常熟书商何君立仰慕唐伯虎的诗文和为人，不惜重金，征求片纸只字，为他搜集整理诗赋词章。将唐寅生前散轶的近百首（篇）诗文核阅后付梓，这就使唐寅有了第一个较完善的诗文集传世，一时洛阳纸贵。后来，江南著名的出版藏书家。常熟书商毛晋也十分敬重唐寅才情为人，他在编录《明诗纪事》及《海虞古今文苑》时，又特地详细收录了唐寅生前诗文和轶事，丰富和完善了唐伯虎诗文内容，为后代积累了生动的文化资料。
毛晋，后来还独立承担了重修唐寅墓的重任。据《苏州府志》，崇祯甲申三月十六，毛晋与同郡士人游春至姑苏横塘王家村，因见一代才子唐寅之墓荆棘荒芜，
…。。