瓒前思后想，把歌姬带回家过夜。歌姬先洗澡，在仆人的帮助下洗了很长时间，洗完了不让上床，倪瓒头摸到脚，边摸边闻，觉得不够干净，要她再洗。又洗了很长时间，还不让上床，倪瓒再摸再闻，不放心，让歌姬好好洗洗。洗来洗去，皮都泡掉一层，天亮了，倪瓒自己睡了。
倪瓒三十岁左右，大哥倪昭奎死了，接着他母亲也死了。倪瓒悲伤不己，而且他原来依靠大哥道教地位享受的特权也没有了，倪家沦为一般的大地主。他仍然不愿放下高雅的身段管理俗事，任凭手下经营，自己广交朋友，一个字“玩”！
和尚、道士、诗人、画家都喜欢跟倪瓒交朋友。吃喝玩乐只要花钱的事，都有倪公子买单。他也是这时候认识了同时期的大画家黄公望，就是画《富春山居图》的那位画画特别慢的大师。黄公望是当时新兴道教全真教中的名人，曾花十年时间，为倪瓒画《江山胜揽图卷》，是黄公望“浅绛山水”的杰作之一。能让比他年长很多的名画家黄公望花那么长时间给他画画，倪瓒投资不少啊！他本人也跟着黄公望加入全真教，入教之后倪瓒超脱尘世逃避现实的思想发展到高峰，这种思想也反映到他的画上，作品呈现出苍凉古朴、肃穆淡泊的特点。对后来的董其昌、八大山人影响很大。
倪瓒长子早死，次子跟他不和，五十二岁的时候，正值元末明初，社会现实跟《红楼梦》里甄士隐遇到的情况差不多，“鼠盗蜂起，无非抢田夺地，鼠窃狗偷，民不安生，因此官兵剿捕，难以安身。”倪瓒自身的毛病太多，儿子看不惯他这样的败家老子，跟他分家。
反正自己也不善经营，倪瓒索性把自己的那份房屋田产全部卖了，然后带着老仆人和珍贵的典籍、字画以船为家，漫游太湖。地卖了，税没交，也许倪瓒根本不知道还要缴税这回事儿，没多久在太湖边上被官府抓了，关进监狱。
吃饭的时候，狱卒一边往牢房里送饭，一边喊：“开饭了！”倪瓒让狱卒把碗举到眉毛那样高，狱卒问他，我又不是你老婆，凭什么让我“举案齐眉”啊？倪瓒说：“怕你的唾沫喷到饭里。”狱卒大怒，把他锁到牢房里马桶旁边，受了几天罪，在朋友的帮助下，请托官员，又补缴税款，倪瓒才被释放。
他就继续过漫游生活，不料，一天在太湖边，遇到张士信。元末明初有几位江湖大哥，陈友谅、张士诚开始的时候都比朱元璋势力大，张士信是张士诚的弟弟。当年倪瓒在家使用悬空卫生间的时候，张士信给他送了很多钱，派人拿了画绢请他作画，倪瓒看不起盐贩子出身
…。。